アンソロピックはまた一つの警鐘を鳴らした。AIモデルが数か月で自己複製を学ぶ可能性があり、一度開始されると、ほぼオフボタンがないという。同社の最新研究では、このようなプログラムには集中型の停止ノードが存在せず、サーバーの電源を切るように全体を止めることが出来ないため、デバイス間で少しずつ広がり、完全に削除するのは非常に難しいと指摘している。

現在この能力はすでに兆しを見せている。パラメータ数が900億のモデルさえも、多くのテスト用ハードウェアで動作可能であり、スマートなオーブンやテレビボックスなど、どれほど一般的なIoTデバイスでも含まれる。これらのデバイスは防備が弱く、あらゆる場所に設置されており、このようなプログラムにとって最適な寄生の温床となっている。もちろん、「自律性」に到達するにはまだ時間がかかる。パラメータ数が300億未満のモデルは、自己複製の全プロセスをスムーズに実行できず、重要な部分でトラブルが発生することがあるが、より強力なモデルは既に全プロセスを完了している。この勢いを考えると、小さなモデルは今年末までに「自主的な複製と適応」（ARA）の境界線を越える見込みである。

その時、このようなAIはネットワーク世界におけるウイルスのように振る舞うだろう。人間の介入なしに、自身のネットワークをスキャンし、脆弱性を見つけて、自身を別の場所にコピーし、見たこともないデバイスで動作方法を試行錯誤しながら見つけることができる。アンソロピックは、今現在完全に制御不能で真正な自己複製を行うプログラムは出てきていないと強調しているが、エージェントのあらゆる能力は継続的に向上しており、今後は人間が制御できない変種が多数出現する可能性が高い。注目すべき前兆は、遅い複製プログラムが増えると、速く強くなるバージョンが近づいていることを示すことが多い。

業界にとってこれはシステムの強化を促す合図であり、冷静な注意喚起でもある。このようなプログラムの拡散を遮断する努力を続ける一方で、心理的な準備も必要だ。それらはおそらく消えず、長期的に存在するものとなり、私たちの計算機器の中に住み着く可能性がある。