Meta AI 推出大概念模型:超越傳統語言模型的新突破

近年來，大型語言模型（LLMs）在自然語言處理(NLP)領域取得了顯著進展，廣泛應用於文本生成、摘要和問答等場景。然而，這些模型依賴於逐字預測的 token 級處理方法，這種方式在理解上下文時存在困難，且往往產生不一致的輸出。此外，將 LLMs 擴展到多語言和多模態應用時，計算成本和數據需求也相對較高。爲了解決這些問題，Meta AI 提出了一種全新的方法 —— 大概念模型(LCMs)。

大概念模型（LCMs）代表了傳統 LLM 架構的一次重要轉變。它們引入了兩個重大創新:首先，LCMs 在一個高維嵌入空間中進行建模，而不是依賴於離散的 tokens。這一嵌入空間被稱爲 SONAR，旨在支持200多種語言和多種模態，包括文本和語音，提供語言和模態無關的處理能力。其次，LCMs 的設計允許在語義層面上無縫過渡，能夠在不同語言和模態之間實現強大的零 - shot 泛化能力。

在 LCMs 的核心，存在概念編碼器和解碼器，這些組件將輸入句子映射到 SONAR 的嵌入空間，並將嵌入解碼回自然語言或其他模態。這些組件的凍結設計確保了模塊化，方便在不重訓整個模型的情況下擴展新語言或模態。

技術細節方面，LCMs 採用了層次化架構，模仿人類的推理過程，從而提升了長篇內容的一致性，同時能夠在不干擾整體上下文的情況下進行局部編輯。通過採用擴散模型，LCMs 在生成過程中表現出色，這些模型基於前面的嵌入預測下一個 SONAR 嵌入。實驗中，採用了單塔和雙塔兩種架構，其中雙塔架構在上下文編碼和去噪上分開處理，提高了效率。

實驗結果顯示，基於擴散的雙塔 LCM 在多個任務中展現了競爭力，如多語言摘要任務中，LCMs 在零 - shot 情況下的表現優於基線模型，證明了它們的適應能力。同時，LCMs 在處理較短序列時也表現出高效性和準確性，相關度量指標的顯著提升印證了這一點。

Meta AI 的大概念模型爲傳統 token 級語言模型提供了一種有前途的替代方案，通過高維概念嵌入和模態無關的處理，解決了現有方法的一些關鍵侷限。隨着對這一架構研究的深入，LCMs 有望重新定義語言模型的能力，爲 AI 驅動的溝通提供更具可擴展性和適應性的方法。

項目入口:https://github.com/facebookresearch/large_concept_model

劃重點:  

🌟 LCMs 在高維嵌入空間中進行建模，支持200多種語言和多模態。  

💡 LCMs 採用層次化架構，提升長篇內容的一致性和局部編輯能力。  

🚀 研究結果顯示，LCMs 在多語言摘要等任務中表現優異，具備強大的零 - shot 泛化能力。