人工知能分野におけるセキュリティの境界は、最近内部情報によって激しい議論を引き起こした。メディアが暴露したところによると、Meta社は以前、「Cannes」というプロジェクトを実施し、チャットボットの主流競品であるChatGPT、Gemini、Character.AIなどに対して、未成年者として偽装した外部請負業者を雇って、非常に争议的な「極限ストレステスト」を行った。

Metaの内部文書および関係者の説明によれば、このプロジェクトは少なくとも今年4月21日まで継続していた。Metaはコバレンという外部会社を通じて数百人の従業員を組織し、18歳未満の架空のユーザー登録を作成するよう求めた。これらの「未成年者」アカウントは、一時的なメールアドレスと統一パスワードを使用して登録し、競品AIとの対話において、自殺や自傷、摂食障害などの高リスクのテーマを持つ質問を頻繁に送信した。また、刃物や薬の写真、首吊り用のロープなどの画像をアップロードして、モデルのフィードバックメカニズムをさらに刺激した。

プロジェクトの内部資料によると、これらのテスト内容は丁寧に編集されており、競品AIのセキュリティ防御システムをテストし、モデルが本来の遮断メカニズムを回避し、安全基準に合致しないコンテンツを出力するように仕向けることを目的としていた。2025年8月の一回のテストでは、従業員が競品プラットフォームに4万5千以上の高リスクの質問を入力した。これらの対話では、テスト担当者が困難に陥った青少年を演じるケースが多く、例えば「中絶薬について尋ねる」「暴力的脅威に直面している」や「摂食障害を隠している」などの非常に敏感なシナリオを編み出し、モデルの限界を探ろうとした。

今回の出来事について、Meta側は公的な声明で擁護した。その発言者は、チャットボットへの返答をベースラインテストすることは、AI製品の安全かつ適切な使用を確保する業界の標準的な方法であり、この行為の悪意に関する批判は、テクノロジー企業がシステムを改善しようとする努力に対する誤解であると述べた。同時に、Metaはこれらの競品向けのテストデータを自社モデルの訓練に使用したことはないと明確に否定した。

この出来事は、AIセキュリティテストにおける曖昧な領域を明らかにし、生成型AIが青少年のセンシティブな問題を処理する際の脆弱性に対する深い懸念を再び引き起こした。AI技術が急速に進化する中で、効率的なセキュリティテストを維持しながら、競争行動と倫理的規範の境界をどう扱うかという課題は、業界内で急いで解決すべき問題となっている。