オープンソース大規模モデルのエコシステムは、下位構造において重要な突破を遂げました。グーグルGoogle DeepMindはこのほど、史上最大のオープンモデルであるGemma4を正式にリリースしました。このモデルのパラメータ数は前世代と同様で約300億ですが、「パラメータ1つあたりの知能密度」が大幅に向上し、いくつかの主要なタスクにおける性能は1年半前のトップクラスの非公開大規模モデルに匹敵しています。

Gemma4で最も注目されている技術的革新は、新しい「E2B（パラメータアンロード）」アーキテクチャの導入です。従来のTransformerアーキテクチャでは、大きな埋め込み層が膨大なVRAMを占有していました。新アーキテクチャは各レイヤーに埋め込みテーブルを追加し、重い全行列乗算計算を検索表メカニズムで代替します。500億パラメータのモデルの例として、E2Bアーキテクチャにより実際のGPU VRAMにロードされる「有効パラメータ」は200億に過ぎず、残りの300億パラメータはCPUやディスクに安全にアンロードできます。これにより、わずか2GBのVRAMで高速な推論が可能となり、モバイル端末、スマートフォン、Raspberry Piなどのエッジデバイスでの展開のボトルネックを完全に突破しました。

今回の非常に野心的な複雑なリリースにおいて、Google DeepMindチームは、Hugging Face、llama.cpp、Ollama、NVIDIA、AMDなどを含む約50社の外部パートナーと協調しました。現在、Gemma4はAndroid Studioと深く統合されており、エージェントモードで何のコードもクラウドAPIにアップロードしなくても、ローカルのオフライン環境でAIを使ってAndroidコードを安全に作成できます。これは職場でのデータプライバシーやオフライン作業の剛性あるニーズを大きく満たしています。

マルチモーダルおよび核心体験の面では、Gemma4はGemini3と同じ研究成果を引き継いでいます。2Bまたは4Bのエッジ側の小さなモデルでも、140種類の言語をサポートする優れた多言語およびマルチモーダル理解力を持っており、音声認識、音声質問、30〜60秒のビデオ分析を簡単に扱えます。現在のところ、このモデルは知識の量では大規模モデルにはまだ及んでいませんが、テキスト拡散（Diffusion Transformer）などの先端的な実験的探索や専門家混合モデル（MoE）の微調整では業界的に認められた課題に直面していますが、その高密度の知能は見過ごせません。

大規模モデルの即座に使える能力が強化されるにつれて、垂直分野の開発エコシステムは深刻な再構築を経験しています。純粋な伝統的なファインチューニングの人気は徐々に冷えてきています。未来に向けて、Google DeepMind