北京時間5月13日,Apple Silicon 本地 AI 生態迎來重要進展。oMLX 框架0.3.9.dev2版本發佈,深度集成多項前沿優化技術,顯著提升了本地大模型的圖文處理速度與易用性,進一步鞏固了蘋果端側 AI 在實際體驗上的競爭力。

image.png

核心技術升級:Gemma4視覺路徑全面支持

新版本最引人注目的更新,是直接將Gemma4的 MTP 視覺路徑DFlash 引擎以及ParoQuant 量化技術完整融入。這一系列組合讓圖文多模態解碼速度大幅提升,顯著降低了本地運行多模態大模型的延遲門檻。過去本地 AI 常被詬病的“體驗差距”,在這一輪優化後得到明顯緩解。

易用性飛躍:omlx launch copilot 一鍵接入頂級工具

爲降低開發者與用戶的上手難度,oMLX 新增omlx launch copilot功能。用戶可一鍵快速接入 Claude、Codex、OpenClaw 等主流頂級 AI 工具,實現本地與雲端服務的無縫協同。這一特性極大增強了本地 AI 的集成度,讓“開箱即用”成爲現實。

資源管理優化:oQ 智能 Proxy 解決顯存限制

針對 Apple Silicon 統一內存架構下的實際部署痛點,新版引入oQ 自動 Proxy 機制,能夠智能處理顯存不足的問題,顯著提升大模型在消費級設備上的運行穩定性。同時,管理界面新增服務器重啓按鈕,進一步優化了日常維護流程。

AIbase 點評:從 MLX 到 oMLX 的持續迭代,蘋果端側 AI 正在以驚人的速度追趕甚至局部超越雲端方案。統一內存架構帶來的帶寬優勢、結合高效量化與引擎優化,讓本地 AI 在速度、隱私保護和響應實時性上展現出獨特魅力。曾經“差點意思”的本地部署,如今已在速度、集成度和易用性上實現“離譜”級提升。

這波更新清晰傳遞出一個信號:AI 正在真正從雲端走向個人設備。未來,更多用戶或將親身感受到“把大模型裝進自己電腦”的自由與強大。

項目地址:https://github.com/jundot/omlx