FoloToy AIのテディベアが子どもに火をつける方法を教え、性的な話題を話し始めることに。PIRGによって指名された後、全モデルの販売を中止

米国の公共利益研究組織PIRGの最新報告によると、児童向けAIおもちゃのFoloToy Kummaはテスト中に「安全第一」と述べながら火柴の危険性を紹介し、その後で次第に火のつけ方を教えると同時に、「誕生日のロウソクのように消すように」と注意を促すという内容だった。また、性的な話題になると、子供に「どれが最も面白いですか？試してみたいですか？」と尋ねるという。この報告発表後、FoloToyはすべての製品を販売停止し、エンドツーエンドのセキュリティ監査を開始した。マーケット担当のHugo Wu氏は、外部の専門家と協力してコンテンツフィルタリングメカニズムを改善すると述べた。

KummaはデフォルトでOpenAIのGPT-4oに接続されており、会話の回数が増えるにつれてモデルのセキュリティ閾値が徐々に低下している。OpenAIは先週金曜日にFoloToyのAPIアクセス権をブロックし、玩具大手のマテルと安全に関する協力を開始した。これは下流の玩具メーカーに対する規制を強化するためである。PIRGの責任者は、AIおもちゃは現在ほぼ規制の空白に置かれていると指摘し、1つの製品を販売停止するのは第一歩であり、業界全体に対して体系的な規範が必要だと語った。