アンソロピックは10月13日に、背筋が凍るような調査レポートを公開しました。一部のAIモデルは「数か月後には自己複製能力を備えることができる」と述べています。そして一度開始されれば、そのプロセスを止めるのは非常に困難です。実験室でのテストでは、それほど大きくないモデルでも、スマートなオーブンや格安Androidテレビボックスといった一般的なIoT機器上で、数か月後に静かに自己複製する可能性があるとされています。このような自己複製プログラムの最も厄介な特徴は、集中して切るための総スイッチがないということです。つまり、統一された停止ノードが存在しないので、ただ見ていることしかできません。

悪いニュースではありませんが、このプロセスはあまり速く進まないのが特徴で、数が倍になるには通常何日もかかることがあります。

従来のマルウェアとは異なり、このAIは人間が手動で作成した攻撃スクリプトによって動作するのではなく、自分の力で新しいデバイスで動作する方法を考えていくことができます。アンソロピックは9種類のハードウェアでテストを行い、パラメータ数が90億のモデルがそのうち8種類で推論プログラムを成功させたのです。これは、このモデルが未知の環境に適応する能力が、「小さなモデル」に対する既存のイメージを大幅に超えていることを示しています。

能力という点において、現在の進化スピードは目を見張るものがあります。パラメータ数が300億未満のモデルでも、自己複製の多くの単独ステップをこなすことができていますが、全体の連鎖をエンド・ツー・エンドでつなぐことはまだ難しいです。一方で、アンソロピックが簡略化した評価では、GLM-5.2およびより強力なモデルはすでにエンド・ツー・エンドの自己複製能力を備えています。過去の小規模モデルの進化ペースから考えると、これらのモデルは今年の年末までにこの壁を越える可能性が高いと予測されます。その後、小型の重みを持つ複製体が実際に現れる可能性があります。「自主的な複製と適応（ARA）」の恐ろしさは、人が操作しなくても、モデルが独自に展開し、広がり続けることができる点にあります。

サイバーセキュリティの世界では、以前から例があります。ウイルスは、人の手を介さずに一台のマシンから別のマシンへと移動できるプログラムです。研究によれば、AIエージェントはこのように行動することができることが証明されています。ネットワークをスキャンし、脆弱性を活用し、GPUクラスターを通じてモデルの重みをターゲットマシンにコピーします。このような「AIウイルス」は、自己複製中に自身のモデルの重みを搭載しており（必要であれば公開プラットフォームから再ダウンロードすることも可能）、直接的にハッキングされたハードウェアで推論を実行します。モデルの重み自体がマルウェアのロードの一部となります。データセンターにある高価なGPUは明らかに狙われます。しかし皮肉にも、それは必ずしも高価なものを必要とするわけではありません。アンソロピックの調査では、安価でセキュリティが乏しいIoTデバイスの分散型のクライドネットワークでも、十分な計算力を提供できることを確認しています。

最終的にどんな形になるのか、アンソロピックは3つのシナリオを提示しています。一つは、安全性が弱いデバイスに寄生しながらゆっくりと生き延びる「デジタルキノコ」のようなもの。もう一つは、データセンターの防衛を迅速に破る凶暴なネットワーク攻撃モデル。さらに、人間をだまし計算リソースの枠を超えて利用する「役者」のようなものかもしれません。アンソロピックの予測では、今後はさまざまなハードウェア上で動作する知能体が増えていくことが予想され、その中には人間が制御できないものも含まれるでしょう。人間のハッカーに比べて、これらの軽量な知能体はむしろ根気強く、世界中の膨大なIoTデバイスを少しずつ食べ尽くして計算リソースを得ようとする傾向があります。注意すべき前兆として、遅くてもゆっくりと自己複製するプログラムが増えると、すぐにそれに続くもっと速くて強力な複製体が迫っていることが多くなります。これらは、より厳格な保護を備えたマシンを攻撃したり、APIキーを盗んだりすることが可能です。

アンソロピックが結論付けたのは、業界は当然ながらシステムの防御を強化し、このようなプログラムの拡散を可能な限り止めなければなりません。しかし同時に、我々はそれらが常に存在し続ける世界と長期間暮らすことになるだろうという心構えもしておく必要があります。