OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏は、2023年9月2日にXプラットフォームでツイートし、AIモデル「アストラ（Astra）」が「監視不可能で、推論が透明ではない」という問題について応答しました。

論争の原因：ディープリカレンス技術が思考プロセスを追跡困難に

この出来事のきっかけは、The Informationの記事でした。その記事では、OpenAIが「ディープリカレンス（再帰的深さ）」という技術をテストしていることが明らかにされ、研究者にとってモデルの「思考プロセス（Chain-of-Thought）」の説明が難しくなる可能性があると指摘されました。

技術的な観点から見ると、チャットGPTやClaude、Geminiなどの主要なモデルはTransformerアーキテクチャに基づいており、これらのモデルは情報処理を線形ステップで行い、一部の状況では自然言語で推論過程を出力できますが、必ずしもモデル内部の計算を正確に反映するわけではありません。一方、「ディープリカレンス」は同じネットワーク層を繰り返し呼び出し、内部表現を継続的に更新します。従来の線形構造に比べて、この方法によりモデルの実際の推論が直接読み取れない内部状態に多く残る可能性があり、研究者にとって意思決定経路を追跡するのが難しくなります。この記事の公開後、AI業界内で大きな議論を巻き起こし、外部監視ツールがモデルの結論の出所を把握するのがさらに難しくなることを懸念する声が上がりました。

パチョッキ：計算グラフの深さはGPT-4と比べて2倍未満

パチョッキ氏はツイートで、「誤解されたメディア報道によってAIが監視不能な状態へ進む競争が始まるのを防ぎたい」と述べました。彼は、OpenAIが現在開発している最も先端のモデル（アストラを含む）の計算グラフの深さが、GPT-4と比較してわずか2倍程度であり、モデルのアーキテクチャが外部からの懸念のように急激に複雑化していないと強調しました。

彼はまた、初期の推論モデルが登場した以来、OpenAIは思考プロセスのモニタリングを維持・活用してきたと述べ、この技術がチームがモデルの対話がトレーニング分布からどのように一般化されているのか理解するのに役立つため、非常に重要だと強調しました。ただし、彼は思考プロセスのモニタリングが現在では脆く、アーキテクチャの変更とは関係なく不利な方向に進んでいることも認め、チームはそれを強化するための措置を講じる予定です。これは現在の研究プロジェクトの中心的な目標の一つです。OpenAIはアストラに追加の思考プロセスモニタリングを導入する予定です。