最近、MetaのAI研究チームは、コードワールドモデル（Code World Model、略称CWM）という大規模言語モデルをリリースしました。

この新しいモデルの登場は、コード生成技術における大きな進歩を示しています。これはコードの見た目だけでなく、実行時の実際の機能にも注目しています。大量のコードとその実行環境との相互作用データを学習することで、CWMは内部的な「世界モデル」を構築し、計算システムの動作原理を理解する手助けを行います。

image.png

従来のコード生成モデルは通常、プログラムの次の命令を予測することによって学習しますが、この方法ではプログラミングの複雑さに対処することが難しくなっています。Metaの研究チームは、本格的にプログラミングを習得するためには、コードを実行した後の実際の効果を理解する必要があると考えています。このような理解力はソフトウェアエンジニアにとって非常に重要であり、コードを書く際には文法だけでなく、変数、オブジェクト、関数などのコンポーネント間の関係も考慮する必要があります。

CWMモデルのトレーニングプロセスでは、独自の方法が採用されており、「中期トレーニング」段階でコードの振る舞いを教えることで、最終的な微調整段階ではなく、それ以前から学習を行います。このプロセスでは主に2つの重要なデータが使用されています: 1つはPythonコードの実行トラッキングの記録、もう1つはDocker環境でのエージェントの相互作用データです。これらのデータを通じて、CWMはコードの指示がプログラム全体の動作に与える影響をより深く理解できます。

実際の応用において、CWMは優れた性能を発揮しています。複数の業界基準テストにおいて、他の同様のモデルを上回る結果を示しています。例えば、SWE-bench Verifiedのベンチマークテストでは、CWMの通過率は65.8%に達し、LiveCodeBenchや数学的推論などのテストでも優れた成績を収めました。CWMの成果は明るいものですが、研究者はCWMがまだ研究段階にあり、大規模な最適化が行われていないことを指摘しており、現時点では一般的な会話アシスタントの機能には適用されていません。

Metaチームは今後の発展に対して楽観的です。彼らは、世界モデルの知識を活用してさまざまなタスクにおけるモデルのパフォーマンスを向上させる余地が大きいと考えています。この研究の進展は、強力な世界モデルを持つことが、常に変化する現実的な環境において人工知能システムをより信頼性があり、効率的にする可能性があることを示しています。

入口:https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/

ポイント:

🌐 CWMモデルはコードの見た目だけでなく、実行後の実際の機能にも注目し、計算環境の動的性を理解する手助けを行います。

🛠️ このモデルは中期トレーニングでコードの振る舞いを学び、Pythonの実行トラッキングとDocker環境でのエージェントの相互作用データを使用します。

📊 CWMは複数の業界基準テストで優れた結果を示し、世界モデルが人工知能システムの信頼性を高める重要性を示しています。