アリババが統一科学大モデルLOGOSをオープンソース化、パラメータの56分の1でマイクロソフトを上回る

アリババ ATH-Token Foundry は中国人民大学高瓴人工智能学院と共同で、今日、統一された科学的な文法に基づく最初の多分野科学生成基礎モデル「LOGOS」をオープンソース化することを正式に発表しました。6つの代表的な科学的タスクにおいて、このモデルは純粋なシーケンスモデリング方式により、従来の分野専用手法と一致または上回る性能を示しています。

注目すべきは、このモデルが非常に高いパラメータ効率を持っていることです。わずか1Bのパラメータを持つLOGOS-1Bモデルは、複数のコアタスクにおいて、8×7Bのパラメータを持つマイクロソフトのNatureLM言語モデルをすでに超えています。

科学的な文法を統一した異種オブジェクトの創出

LOGOSは、生物大分子、化学実体および界面相互作用などの7種類のモダリティを含む、合計44.87Bトークンの広大な事前学習コーパスを構築しました。共有語彙を設計することで、タンパク質や小分子など本来異種のオブジェクトをすべて統一された離散的なトークンシーケンスに符号化しています。

このような特異な科学的な文法設計により、異なる科学的オブジェクトが同じ生成空間内で大規模モデルによって逐次的に理解されます。また、「テキスト記述法」という独自の方法を開発し、複雑な3D座標を入力する必要なく、シーケンス予測だけで頭の中で複雑な空間的相互作用の法則を構築できます。

事前学習と応用の断層を完全に解消

従来の科学研究の枠組みでは、研究の各工程を変えるたびに異なるモデルを切り替える必要があり、モデルを現実に適用する際には大量の微調整が必要でした。しかし、LOGOSは形式と目的の高い一貫性を実現しており、事前学習データのシーケンス形式と下流タスクの入出力形式が完全に一致しています。

この高度な対応は、事前学習と下流応用の間のギャップを効果的に解消し、複雑なアダプター層なしで直接生成能力を活性化できます。現在、アリババはこの大規模モデルのモデル重み、推論コードおよび技術報告書を完全にオープンソース化しています。