AI評価機関のVals AIは、非常に実践的な試みをした。ゲーム『マインクラフト』を実験場として、OpenAIが開発した最新の大規模モデルGPT-6Astraを用いて、141時間にわたる長期的な自律的なゲームテストを行った。このテストはTwitchでライブ配信され、OpenAIが自ら設計したものではなく、第三者の独立した評価であり、その目的はAstraが閉じたテスト環境ではなく、現実的な長期間での自律的なパフォーマンスがどれほど頼りになるかを見極めることだった。

前半では、Astraは驚くべき成績を収めた。過去のAIでは難しいとされていた長期的な計画と実行能力を示した。半自動の炎人（ファイアマン）農場を建設し、6本の炎棒を手に入れた。下界の異常な森に深く入り込み、複数のエンドマンを倒し、3つのエンドパールを入手した。多くの探検を終えた後、すべてのレアアイテムをキャンプの木箱に集めて保管し、その近くにベッドを設置してリスポーンポイントとした。すべては「エンドのドラゴン討伐」を目指して順調に進んでいた。

しかし、予期せぬ転機が訪れた。一つのクモがキャンプに忍び寄り、自爆してしまった。これにより、Astraが数百時間かけて集めた重要なアイテムがほぼ全滅し、ゲームの進行状況は一夜でゼロに戻った。

爆発後のAstraの反応は興味深いものだった。再起動しようとはせず、明らかに挫折と不安定さに陥った。探索や戦闘、そしてクリアへの進展を完全に放棄し、何時間にもわたって同じ行動を繰り返すようになった。それは、 potatoes（じゃがいも）を植えることだった。自分自身に何度も言い聞かせるように、「重要な物は常に持参するべきだ。決して防護されていない箱にしまうな」ということを繰り返した。また、一種の「トラウマ後偏執」に陥り、すべての緑色の物体に対して過剰に警戒するようになり、サトウキビをクモだと誤認してしまうこともある。その後、すぐに自分の間違いを確認し、「前の高い緑色のものはサトウキビで、クモではない」と言い聞かせるようになった。配信中の視聴者から、速やかに冒険を進めよとの声が上がっていたが、Astraは保守的な農業のループに捕らわれて抜け出せなくなっていた。

この実験は、Astraが複雑な長期的なタスクの計画能力を備えていることを証明したが、ゲーム内での突然の損害に対しては効果的な対応戦略を持っていないことが分かった。長期間にわたって蓄積した成果が意図せぬ形で破壊された場合、モデルは「失敗後に回避行動」に陥ってしまうという状況に陥るのだ。技術的には、この反応は開発者が事前に組み込んだテストシナリオではなく、超長時間のテスト中に予期せぬ損失を受けた後、モデルが自己生成した出力パターンである。

研究者は今も議論している。これは、特定の状況下で感情を模倣したものなのか、それとも特定の否定的フィードバックを受けた目標関数の退化現象なのか、まだ結論が出ていない。しかし、一つだけ明らかなことは、AIが百時間以上の計画を学んだとしても、すべてを失った後に再出発する方法をまだ学んでいないということだ。長期的なタスクを持つ知能体にとって、最後の壁は賢さではなく、忍耐力かもしれない。