Liquid AI 最近推出了 LFM2.5,這是一個新一代的小型基礎模型家族,基於 LFM2架構,專注於邊緣設備和本地部署。該模型家族包括 LFM2.5-1.2B-Base 和 LFM2.5-1.2B-Instruct,同時擴展了日語、視覺語言和音頻語言的變種。這些模型以開源權重形式發佈在 Hugging Face 上,並通過 LEAP 平臺進行展示。

LFM2.5保留了針對 CPU 和 NPU 設計的混合 LFM2架構,旨在實現快速且內存高效的推理。該模型的預訓練階段將參數擴展至1.2億,訓練數據從10萬億個 tokens 擴展至28萬億個 tokens。隨後,指令變體模型還進行了監督微調、偏好對齊和大規模多階段強化學習,專注於指令跟隨、工具使用、數學和知識推理。

image.png

在文本模型性能方面,LFM2.5-1.2B-Instruct 是主要的通用文本模型。Liquid AI 團隊在 GPQA、MMLU Pro、IFEval、IFBench 等多個基準上報告了表現,模型在 GPQA 上達到了38.89,在 MMLU Pro 上達到了44.35。這些分數明顯高於其他同類開源模型,如 Llama-3.2-1B Instruct 和 Gemma-3-1B IT。

此外,LFM2.5-1.2B-JP 是專門爲日語優化的文本模型,針對日語的 JMMLU、M-IFEval 和 GSM8K 等任務進行了優化。這個檢查點在日語任務上超越了一般指令模型,並在這些本地基準測試中與其他小型多語言模型相競爭。

在多模態邊緣工作負載方面,LFM2.5-VL-1.6B 是該系列更新的視覺語言模型,結合了圖像理解的視覺模塊。該模型經過調優,支持文檔理解、用戶界面讀取和多圖像推理等實際應用,能夠在邊緣環境中高效運行。

LFM2.5-Audio-1.5B 是一個原生音頻語言模型,支持文本和音頻輸入輸出,採用了一種新的音頻反 tokenizer,其速度比之前的方案快八倍,適用於實時語音到語音的對話代理和自動語音識別等任務。

https://www.liquid.ai/blog/introducing-lfm2-5-the-next-generation-of-on-device-ai

劃重點:  

🌟 LFM2.5是一款基於 LFM2架構的小型基礎模型家族,支持多種變種,包括文本、視覺語言和音頻語言。  

📈 該模型在多個基準測試中表現優異,尤其是在 GPQA 和 MMLU Pro 上超越了同類模型。  

🌐 LFM2.5系列涵蓋多模態和區域優化,提供強大的邊緣計算能力,適用於多種實際應用場景。