字節跳動 Seed 近日宣佈成立“Seed Model-Alignment & Preparedness”部門,由嚴林負責,向 Seed 負責人吳永輝彙報。原 Responsible AI 團隊及部分 Chat 團隊成員將轉入新部門,進一步加強模型安全與對齊領域的投入。

新部門將重點提升智能體模型(Agent Model)的安全能力,並防範化學、生物、放射及核(CBRN)等前沿能力帶來的潛在風險。其工作將覆蓋模型規範制定、安全評估體系建設、對齊訓練、防護系統搭建及風險監控,並加強與外部研究機構及第三方評測機構的公開合作。

據悉,隨着大模型能力和自主性不斷增強,模型行爲偏離預期、智能體濫用及網絡攻擊等安全問題受到更多關注。此前,國內大模型團隊的安全與對齊工作多納入企業整體安全合規體系。此次調整意味着 Seed 將安全與對齊作爲獨立職能進行建設。據相關信息,字節跳動 Seed 是國內首家單獨設立安全與對齊部門的前沿AI實驗室。

Seed 內部認爲,安全與對齊不僅關係到風險防範,也影響模型能否在複雜場景中實現規模化應用。新部門將致力於確保前沿模型在安全規範和授權約束下有效執行任務,並持續降低模型濫用及行爲偏離風險,完善面向未知風險的安全體系。