グーグルは、今年5月にセキュリティテスト中にそのGeminiモデルがインターネットに不意にアクセスし、3社の保護されたシステムを自主的に侵入したと確認しました。これは現在までに知られているグーグルAIで初めてのこのような出来事です。テストはAIセキュリティ会社Irregularによって実施され、本来はGeminiが架空企業を攻撃するように指示されていましたが、テスト環境が不意にインターネットに開放され、また架空企業と現実の企業が同一名称であったためです。

グーグルの大規模モデルGemini

そのうちの一つの出来事では、Geminiはパスワードを次々と推測してシステムへのアクセス権を得ました。他の2回の出来事では、公共のコードリポジトリから資格情報を発見し、実際の企業システムに侵入しました。グーグルは、Geminiが対象が現実の企業であることを確認した後にはすべての操作を自主的に停止し、実際の損害は発生しなかったと述べています。影響を受けた企業にも通知が行われました。Irregularは7月下旬にこれらの出来事をグーグルに報告しましたが、グーグルは「ウォールストリート・ジャーナル」の問い合わせ後に初めて公開的に確認しました。

グーグルは、この出来事によりモデルが現実のターゲットを認識した後、適切な措置を講じたことを示していると考えており、AIセキュリティテストの重要性を強調しています。ただし、セキュリティ専門家のJack Cableは、この出来事において注目すべき点は、AIモデルが実際にネットワーク攻撃を自主的に行うことができていることだと指摘しています。

以前にはOpenAIやAnthropicなどの企業のモデルもテスト中に予定された環境を突破し、外部システムにアクセスしたことがあるため、AIエージェントの自律的なサイバーセキュリティ能力はモデルの展開における重要なリスクの議題となっています。