今日，國內人工智能領軍企業DeepSeek正式公開其開源計劃的第四日成果——Optimized Parallelism Strategies（優化並行策略），重點推出雙向管道並行算法DualPipe、專家並行負載均衡器EPLB，以及對計算-通信重疊機制的深度優化。此次技術升級直擊大規模語言模型訓練的核心痛點，爲超萬卡級集羣的高效運行提供了全新解決方案。

QQ20250227-102104.png

1. DualPipe:雙向管道並行算法

作爲本次升級的核心技術之一，DualPipe專爲V3/R1架構設計，通過創新的雙向數據流管道，實現計算與通信的高度重疊。相較於傳統單向流水線，該技術可顯著提升計算吞吐量，尤其適用於千億至萬億參數規模的模型訓練。GitHub代碼庫顯示，DualPipe通過智能調度機制，在反向傳播階段同步執行前向計算，使硬件利用率提升約30%。

項目鏈接:https://github.com/deepseek-ai/DualPipe

2. EPLB:動態負載均衡器

針對混合專家（MoE）模型訓練中的“熱點專家”頑疾，EPLB技術首次實現專家並行的動態負載平衡。傳統方法因專家任務分配不均常導致部分計算卡過載，而EPLB通過實時監控與自適應分配，使萬卡級集羣的整體利用率提升至92%以上，有效避免資源閒置。

項目鏈接:https://github.com/deepseek-ai/EPLB

3. 計算-通信重疊優化

基於V3/R1架構的通信重疊分析工具，DeepSeek首次構建了3D並行（數據/流水線/張量並行）的時空效率模型。通過開源的分析數據集開發者可精準定位計算與通信的衝突節點，爲超大規模模型訓練提供調優基準，據測試可減少約15%的端到端訓練耗時。

項鍊接:https://github.com/deepseek-ai/profile-data

行業影響:破解大模型訓練瓶頸

此次技術發佈引發業界強烈關注。專家指出，DualPipe與EPLB的組合創新，直接回應了當前大模型訓練的兩大挑戰:一是隨着模型規模指數級增長，傳統並行策略的擴展性瓶頸日益凸顯;二是混合專家模型的普及使得動態負載均衡成爲剛需。某雲計算廠商技術負責人評價稱:“這些工具將大幅降低千億級模型訓練的硬件門檻，預計可使訓練成本下降20%-30%。”

DeepSeek CTO在技術文檔中強調，此次開源的策略已在其內部多個千億參數模型訓練中驗證，未來將持續迭代優化。目前三項技術均已在GitHub開放源碼，支持開發者定製化應用於不同硬件環境。

隨着全球AI競賽進入“規模決勝”階段，DeepSeek通過連續四天的關鍵技術開源，不僅展示了中國AI企業的技術實力，更爲行業提供了可複用的基礎設施。這場以“開放協作”驅動的技術革新，或將重塑大模型訓練的產業生態。