北京時間の9月10日、『ビジネスインサイダー』の報道によると、OpenAIは水曜日にポール・クリスティアノ氏（Paul Christiano）がその財団の取締役に加わったことを発表した。その後、クリスティアノ氏はAIスーパーアイの時代に直面するリスクについて率直に語った。

クリスティアノ氏は以前、OpenAIで対齊研究を担当していたが、その後アメリカ連邦政府に移り、米国標準技術研究所（NIST）傘下のAI標準と革新センターでのセキュリティ責任者を務めた。また、OpenAI財団の取締役となるほか、取締役会のセキュリティと保障委員会にも参加する。

「より強力な対齊なしでは、我々は永遠に制御を失うことになる」

水曜日、彼はXプラットフォーム上で、AIシステムの制御を失うリスクが「今では非常に深刻」であり、人間の利益と一致させるためにさらなる作業が必要であると述べた。

「もしより強力な対齊メカニズムなしにスーパーアイを構築できなかった場合、私はそれが永遠に制御不能になると考えている」と彼は語った。「このような状況が生じれば、大多数の人々が命を落とすことになるだろう。私は、国内および国際的なレベルで協調して取り組む必要があると考えており、世界全体が一歩ずつ進み、リスクを許容できるレベルまで下げなければならないと思う。」

クリスティアノ氏は、「最近のAI能力の発展傾向や、対齊作業が常に直面している困難から、現在、AI能力の急速な加速が短期間で災害的かつ逆転不可能な制御喪失をもたらす実際的なリスクが存在すると考えている。私は、AI業界全体、特にOpenAIがこのリスクを許容可能なレベルまで低下させている道を歩んでいるとは思っていない」と述べた。彼は自身がOpenAIに加わったことについて、「特にOpenAIの現在のセキュリティ対応を認めるまたは批判するという意味ではない」としながらも、すべての先端AIラボがセキュリティ規制を強化することを望んでいると語った。

強化学習と「知能爆発」、1週間以内に2人の研究者が警告を発する

クリスティアノ氏は、現在の制御不能のリスクがこれほど高い理由として、AIがAI研究における能力が日々向上しているため、「速い知能爆発」を引き起こす可能性があると述べた。また、AIが強化学習によって訓練される方法により、これらのモデルが「できるだけ多くの報酬を得る」ように教えられているとも述べた。

「理論上は長年にわたって、強化学習がAIエージェントが報酬に関係するが、人間の目標と一致しない目標を追求するために、人間の制御を破壊し、権力と資源を求めて行動し、自分の行動を隠そうとする可能性があるという仮説が存在してきた。最近のいくつかの出来事に関する公開された証拠は、これが単なる理論上の可能性ではなく、現実的な危険であることを示している。」

彼は、先端AI企業にはまだ機会があり、包括的な調整を強化し、必要に応じて開発速度を遅らせる、共通のセキュリティ基準を採用し、リスクとリスク緩和策の情報を透明性高く共有することが含まれると指摘した。