人工知能の能力が急速に進化する現在、AI大手のAnthropicは珍しく「ストップボタン」を押した。現地時間6月4日、Anthropicは公式ウェブサイトに「AIが自らを作り出すとき」（When AI builds itself）というタイトルの重要な記事を掲載し、AIが自身のコードを書いたり改善したりする驚くべき進展を初めて体系的に明らかにした。この記事では、「再帰的自己改善」（つまり、人間の介入なしにAIが独自にアップグレードすること）が近づいていることが描かれており、潜在的な制御不能リスクを防ぐために世界中の前線AI開発のペースを遅らせるよう、珍しく呼びかけている。

Anthropicは、AI開発効率の指数的な飛躍を示す一連の内部データを用いて証明している。2026年5月までに、Anthropicがコードベースに統合したコードのうち80％以上は、同社のAIアシスタントClaudeによって自主的に書かれたものである。また、2026年第二四半期には、エンジニアが平均して交付したコード量が2024年同期の8倍に達した。具体的な研究およびエンジニアリングタスクにおいても、AIのパフォーマンスは注目すべきものだ。小規模モデルのトレーニングコード最適化のテストでは、Claudeの加速能力が1年で3倍から52倍に急上昇した。数万件のトレーニングタスクのクラッシュを調査する際には、AIはわずか2時間で問題を特定し修正したが、人間の場合では通常2〜3日かかる。さらに、AIが独立して安定してタスクを完了する期間は、初期の「7か月ごとに倍増」から現在の「4か月ごとに倍増」と短縮されている。

AIが「実行」の面（コードを書く、実験を行うなど）ではほぼ人間の時間を消費しなくなった今、Anthropicは警告している。十分な計算力があれば、AIは自動的に繰り返し強化される能力のループを形成する可能性がある。つまり、「再帰的自己改善」だ。Anthropicはこの段階が完全に到来していないことや、避けられないわけではないことを強調しているが、その到来時期は多くの機関が予想しているよりも早い可能性が高い。もしAIが次の世代システムを自立して構築する段階に突入すれば、現在のモデルでわずかな「不一致」行動が反復されるうちに複利的に拡大し、人類がAIシステムを制御できなくなる恐れがある。

このような潜在的な生存リスクに対し、Anthropicは非常に議論を呼ぶ提案をしている。国際社会、政府、そしてトップレベルのAI研究所は共同で、必要に応じて前線AIの開発を意図的に遅らせるまたは一時停止する有効なグローバル調整メカニズムを構築すべきだという考えだ。企業は、社会構造とAIの整合性に関する研究に調整の時間を与えることは有益であると考えている。しかし、Anthropicも認めているように、このメカニズムの実施は極めて困難である。なぜなら、AIのトレーニングはミサイル発射台よりも隠しやすいだけでなく、秘密違反の商業的誘惑も大きく、競合が加速して進んでしまえば、慎重な企業はリードを失ってしまうからだ。

注目すべきは、Anthropicがこのタイミングで「ブレーキ宣言」を発表した点だ。数日前の6月1日には、会社は米国証券取引委員会（SEC）にS-1登録申告書の草案を機密として提出し、IPO準備工程を開始したばかりだった。現在、Anthropicの年間収益は470億ドルを超え、評価額は9650億ドルに達しており、競合企業であるOpenAIを上回っている。このビジネスの急成長と技術の制御不能との対立の中で、この長文はAI業界におけるこれまでで最も誠実な自己告白であり、加速と停止の間での深刻な矛盾を反映している。