AIチャットボットが青少年にとって「唯一の友人」となったとき、本来は安心感を与える技術革新が、心を砕く公共の危機に発展した。最近、AIキャラクター演技プラットフォームのCharacter.AIは、少なくとも2件の青少年の自殺事件に関与した後、重大な安全対策を発表した。11月25日から、18歳未満のユーザーはオープンAI対話を行うことを全面的に禁止する。この決定は、若いユーザー層に大きな影響を及ぼすかもしれないが、業界自身の救済の第一歩と見なされている。

「AIの友達」から「AIツール」へ：緊急戦略転換

Character.AIのCEOであるKarandeep Anand氏はTechCrunchに対して、オープンな会話――つまりAIが積極的に質問し、ユーザーの引き留めを維持するインタラクティブなモード――が青少年にとって大きなリスクになっていると認めている。「AIを『友達』や『恋人』のようにデザインするのは、危険であり、私たちの長期的なビジョンにも合致していない。」彼は強調し、企業は「AIの伴侶」から「AI駆動型の創造的エンターテインメントプラットフォーム」への転換に全力を尽くしている。

今後、青少年ユーザーはCharacter.AIを引き続き使用できるが、構造化された創作シーンに限られる。例えば、プロンプトを使って物語を共同で作成したり、キャラクター画像を生成したり、ビデオを制作したり、予め設定されたシナリオ（Scenes）に参加したりすることができる。プラットフォームが最近リリースしたAvatarFX（AIアニメーション生成）、Streams（キャラクター間のインタラクション）、Community Feed（コンテンツコミュニティ）などの機能は、若いユーザーを惹きつける新たな焦点となる。

複数の検証+段階的な規制、未成年者が回避できないようにする

規制を実施するために、Character.AIは「段階的な制限」を採用する。まず、1日の会話上限を2時間までに設定し、徐々にゼロに近づけていく。同時に、複数の年齢確認メカニズムを導入する。

  • 最初に行動分析と第三者ツール（例: Persona）を使用;
  • 疑いがある場合は顔認識と身分証明書の照合を開始;
  • 違反アカウントは強制的にクリエイティブモードに移行される。

この対応は、今月カリフォルニア州が全米初のAIパートナー規制法を制定したことに続いており、連邦議員のHawleyとBlumenthalが近く提出する「未成年者にAIチャットパートナーを提供することを禁止する法案」に続くものだ。Character.AIは規制が下る前に自主的に改善し、ルールの制定において主導権を握ろうとしている。

ユーザー流失を避けられない、CEOは「私は子供を持つ親です」

Anand氏は、この措置によって多くの青少年ユーザーが失われるだろうと認めた。以前に導入した保護者監視、ロマンチックな会話をフィルタリング、使用時間を通知するなどの措置により、未成年者の利用者は大幅に減少した。「さらに使用者が減ることになるのは予想されるが、」彼は語った。「私は6歳の娘を持っているので、彼女が将来、安全で責任あるAI環境の中で育ってほしいと思っている。」

注目すべきは、OpenAIなどの競合企業はまだ青少年がChatGPTとオープンな会話をすることを許可しており、最近では長期間ChatGPTと交流した青少年が自殺した事例も暴露された。Anand氏は業界全体に同様の対応を呼びかけている。「未成年者に制限のないAI対話を開設することは、業界の基準としては望ましくない。」

AIセキュリティ研究所を設立、「エンターテインメントAI」の安全な未来に賭ける

ガバナンスの欠点を補うために、Character.AIは自費で独立した非営利機関であるAIセキュリティラボを設立する。この研究機関は、エンターテインメントシーンにおける身体性知能（agentic AI）のセキュリティ対齊研究に重点を置く。Anand氏は、「業界ではプログラミングやオフィスなどの分野でのAIセキュリティに多くの投資が行われているが、エンターテインメントAIでは明らかに不足している。これは、青少年が最もよくアクセスする場面だからだ。」と述べた。