OpenAIは先ごろ、今後数週間以内にChatGPTの暴力関連コンテンツに対する制限を全面的にアップグレードし強化すると正式に発表した。同時に、未成年ユーザー向けに、武器および安全システムに関する情報へのより厳格な保護メカニズムを導入する。

今回のポリシー調整の核心は、高リスクの会話に対してより断固たる介入手段を取ることにある。新たに公表された措置によれば、システムがユーザーの会話を検出・評価し、暴力や他人への重大な危害に持続的に焦点を当てている傾向が示された場合、ChatGPTは会話を自発的に終了する能力を備える。さらに厳しいのは、こうした問題によりユーザーがシステムから複数回会話を終了された場合、そのアカウントは利用停止、さらには直接の永久停止処分を受ける可能性があることだ。

具体的なコンテンツフィルタリングの境界について、従来のポリシーはこれまでと同様、ユーザーが暴力行為を計画または実行するのを支援するいかなる操作ガイダンスの提供も禁止している。今回の調整では、制限範囲が歴史的側面にまでさらに拡大された——モデルは「過去の大規模襲撃事件およびその実行者」に関する質問への回答詳細を大幅に削減し、場合によっては回答を直接拒否する。具体的に制限される内容には、襲撃過程を再現する際に関わる武器、装備およびその入手経路が含まれるだけでなく、襲撃者の知名度を高めることを目的とした被害規模の詳細な比較をユーザーが照会することも制限される。注意すべきは、この一連の制限が全年齢層および質問目的を問わず全ユーザーに適用され、成人ユーザーが関連する照会を行う場合も同じ制約を受けることである。

全ユーザー向けの一般的な制限に加えて、18歳未満と識別された青少年グループに対して、OpenAIはさらにきめ細かな保護を強化した。システムは、暴力の実行に用いられる可能性のある武器および安全システムに関する実用的情報を的を絞って制限し、関連する質問が表面的には直接暴力意図を示していないように見えても、この保護は自動的に発動する。ただし、OpenAIは、青少年が引き続きChatGPTを通じて支援を求めることは可能であると強調している。たとえば、暴力を予防または緩和する方法を学んだり、信頼できる大人と連絡を取るための有効な指導を得たりすることができる。

青少年保護メカニズムの正確な実施を確保するため、OpenAIは改善された年齢予測メカニズムを導入した。このメカニズムは、ユーザーの日常行動などの多次元的なシグナルを組み合わせて、アカウントが未成年に属するかどうかを継続的に動的評価し、適切なタイミングで対応する保護措置を自動的に適用できる。もしユーザーのアカウントがシステムによって誤って未成年と判定された場合も、自ら身元情報を提出する方法で検証と調整を行うことができる。