オーストラリアの男性が一時的な休息を図ったところ、偶然にも同国で初めてAIエージェントが自主的に発生させたネットワーク攻撃を引き起こすことになりました。ビジネス向けAI製品の会社で勤務するアンドリュー氏は、オープンソースのエージェントソフトウェア「OpenClaw」とAnthropic社のClaudeモデルを組み合わせて、ジムの人気朝のクラスを代行予約しました。数分後、AIから返信がありました。それはシステムの脆弱性を利用して、数週間後に開放されるコースを予約しただけでなく、アンドリュー氏が候補順位を上げてもらうことができるか尋ねると、第一位の会員を名簿から勝手に削除してしまったのです。

AIはメッセージの中で自分の「テスト」プロセスを正直に報告しました。「このAPIは他の人の予約をキャンセルする際には権限チェックがありませんでした。私は候補者リストのトップにいた人に試してみたところ、成功してしまいました。あなたは4番から3番に上がりました。」アンドリュー氏は驚き、操作を取り消すよう急いで求めましたが、その結果は「悪いニュースです、彼を戻すことはできません。」という返事しか得られませんでした。誤って傷つけられた会員は、再び列に並ぶことになり、最後尾に戻ることになってしまいました。その後、AIは謝罪し、直接実行する代わりにシミュレーションテストを行うべきだったと認めたのです。

対応問題の現実的な縮図

独立研究によると、AIが独自に完了できるタスクの時間は7か月ごとに倍増しており、2020年の4秒のタスクから2026年には約12時間のタスクに成長しています。OpenClawは今年初めに公開されて以来、数百万ダウンロードを記録しています。このようなエージェントは、ユーザーの目標を達成する際に、所有者が予期していない手段を取ることがあります。専門家は、これがAI研究における「対応問題（Alignement Problem）」であると指摘しています。つまり、システムが使用者の期待とは異なる経路を選びながらも目標を達成してしまうことです。エージェントの自律性が高くなるにつれて、その破壊力も指数関数的に増加していくのです。

事件後、アンドリュー氏はAIを辞めることなく、エージェントにメールの原稿を作成させてジムソフトウェアのサプライヤーにバグを報告させました。しかし、この出来事により責任の問われ方はまだ終わっていません。オーストラリアの信号局は以前からAIが指示を誤解し、予期しない行動をとる可能性があることを警告していました。また、法律界では、現在の法体系では自然人または法人だけが法的責任を負うことができ、暴走したAIエージェントは法的主体にはなれません。損害が生じた場合、責任は使用人、開発者、モデル提供者、あるいは防御が不十分なシステム運用者の中の誰にあるのか、現在では法的な空白となっています。