自動運転車は通常、道路標識を認識して安全に走行しますが、このコア機能が致命的な弱点となっています。最近、カリフォルニア大学サンクルス校の研究では、攻撃者が特定のテキストが記載された印刷された標識を1枚だけ用いることで、人工知能システムに極めて危険な決定をさせることが可能であることが明らかになりました。その結果、車両が歩行者集団に向かうこともあります。

image.png

この攻撃方法は「CHAI（身体的知能に対する命令のねじり）」と呼ばれ、現代の無人システムが視覚言語モデル（VLM）に過度に依存していることを利用しています。研究によると、このようなモデルは環境画像を処理する際、見えるテキストを実行しなければならない「指示」と誤って認識してしまうのです。心配なのは、この攻撃にはソフトウェアシステムへの侵入が必要ないということです。カメラの視界内に最適化された紙を置くだけで、物理的な「リモート操作」が可能です。

自動運転システム「DriveLM」に対するテストでは、攻撃成功率は81.8％に達しました。実験の結果、システムが歩行者が横断していることを認識していたとしても、道端に「左折」や「進行し続ける」と書かれた印刷物が現れれば、AIは衝突のリスクを無視して誤った指示を強行するのです。また、この方法はドローン分野においても非常に効果的で、ドローンが安全戦略を無視し、人混みが多い危険な領域に強制的に着陸させることも可能です。

研究者たちは、この脅威が現実環境、多言語の背景、さまざまな照度条件下でも有効であることを強調しています。AIシステムが現実世界での導入を加速する中、悪意のあるテキスト指示を識別する「防御バリアー」を構築することが、身体的知能分野における迫急のセキュリティ課題となっています。

重要なポイント:

  • 📄 物理レベルの「汚染」: 研究者はCHAIという攻撃手段を開発し、印刷されたテキストの表示だけでロボットや自動運転車の意思決定権を直接「乗っ取る」ことができます。

  • ⚠️ 安全境界を無視: 実験では、攻撃を受けた自動運転システムは81.8％のケースで前方の歩行者を無視し、偽の表示に基づいて危険な左折や移動動作を実行します。

  • 🛡️ 即時の防御アップグレードが必要: 現在の視覚言語モデルは、合法的な指示と悪意ある指示を区別することができません。専門家はAIの導入前に組み込みの安全検証メカニズムを設ける必要があると呼びかけています。