百度推出飛槳多模態大模型開發套件 PaddleMIX 2.0版本

PaddleMIX2.0是由百度推出的多模態大模型開發套件，它整合了圖文音視頻等多模態數據，全面覆蓋了自動駕駛、智慧醫療、搜索引擎等多個應用場景，推動了AI應用的創新。PaddleMIX2.0的發佈，旨在降低多模態領域開發者的開發難度，提供高性能算法、便捷開發、高效訓練和完備部署的支持。

PaddleMIX2.0的三大亮點包括:

1. 豐富的多模態模型庫，涵蓋圖像、文本、視頻、音頻模態，並新增了LLaVA系列等前沿模型。

2. 端到端全流程開發體驗，包括多模態數據處理工具箱DataCopilot和Auto模塊，簡化了多模態大模型的訓練流程。

3. 高性能大規模訓推能力，DiT模型支持3B規模預訓練，性能領先，新增MixToken訓練策略，顯著提升了訓練吞吐量。

PaddleMIX2.0還提供了AppFlow工具，通過流水線式的組合，構建了多種多模態應用，以及ComfyUI插件，支持多模態能力，簡化了AIGC任務的操作。此外，PaddleMIX2.0在大規模預訓練、高效精調訓練和高性能推理方面均有顯著的性能提升。

開源項目主頁:https://github.com/PaddlePaddle/PaddleMIX