字節跳動旗下豆包大模型於今日發佈2024年度技術進展報告,透露其最新版本Doubao-pro-1215在綜合性能上已經實現與GPT-4的全面對齊,並在部分專業領域表現出更強的能力。這一進展標誌着中國大模型技術正式躋身全球第一梯隊。
自今年5月首次亮相以來,豆包大模型僅用7個月時間就實現了32%的能力提升。據官方介紹,通過優化海量數據處理和創新模型架構,包括提高模型稀疏度和引入強化學習等技術手段,豆包在理解精度和生成質量方面都取得了顯著進步。特別是在數學和專業知識等複雜場景中,其表現甚至超越了GPT-4,而服務價格僅爲後者的八分之一。

值得注意的是,豆包首次公開了其300萬字的超長文本處理能力,這意味着它能夠同時處理相當於"上百篇"學術報告的內容量。通過採用STRING等上下文關聯數據算法,以及優化的稀疏化和分佈式方案,豆包將百萬tokens的處理延遲控制在15秒以內,大幅提升了模型對海量外部知識的處理效率。
這一技術突破不僅展示了中國AI技術的快速發展,也預示着大模型應用的普及可能將因更優的性價比而加速推進。
