面壁インテリジェントは近日、清华大学およびOpenBMBオープンソースコミュニティと共同で、低ビット大規模モデル訓練分野における最新の突破成果であるBitCPM-CANNを正式に発表し、オープンソース化しました。この成果は华为昇腾プラットフォーム上でネイティブに実行され、エッジ側AI大規模モデルにおいて軽量化と工学的実装の面で重要な一歩を踏み出しました。

image.png

6倍のメモリリターンを解放し、ハードウェアの制限を打ち破る

今回のオープンソース化されたBitCPM-CANNには、0.5B、1B、3B、8Bの4つのモデルサイズが含まれており、同じサイズの全精度バージョンモデルと比較してテストを行った結果、非常に優れた性能を示しました。従来のBF16精度に比べて、このモデルは推論フェーズにおいて約6倍のメモリリターンを解放でき、大規模モデルを動作させるハードウェアの要件を大幅に下げています。

スマートフォン業界において、6倍のメモリリターンは、もともと高い仕様要件を必要としていた8Bパラメータレベルの大規模モデルが、現在では主流のハイエンドスマートフォンでもスムーズに動作できるようになることを意味しています。このメモリ空間の最大限の解放により、エッジ側AI技術がモバイルデバイスでの普及と商用化を加速することになります。

高い能力保持率により工学的再現性を証明

モデルの体積を縮小しながらも、BitCPM-CANNは極めて高い性能を維持しており、モデルの能力保持率は90％から97.2％の間で安定しています。そのうち、3つの主要なモデルサイズの能力保持率はすべて95.7％〜97.2％に達しており、最も小さな0.5Bモデルでも保持率は90％を超えています。

このような目覚ましい評価結果は、低ビット訓練技術ルートの強い拡張性と工学的な再現性を体系的に証明しています。面壁インテリジェントは、関連する主なフレームワークを基盤として、完全な低ビット訓練の基盤を構築し、環境の適合、32K長シーケンスのサポート、統合演算子などの包括的なエンジニアリングシステムを含んでおり、昇騰向けの低ビット訓練作業の後続のための公共インフラストラクチャを強固に構築しました。