隨着人工智能進化速度遠超行業預期,AI 安全領域的先驅
就業與經濟變革:研究 AI 自動化對全球勞動力市場的重塑及應對機制。
威脅與防禦韌性:防範 AI 技術被濫用於生物安全、網絡攻擊等高危領域,增強社會防禦能力。
AI 價值觀對齊:如何確保前沿 AI 系統的決策符合人類的倫理標準與社會公共利益。
自循環治理體系:探索 AI 在自我監督與自演化過程中的透明度與合規管理。
近期

隨着人工智能進化速度遠超行業預期,AI 安全領域的先驅
就業與經濟變革:研究 AI 自動化對全球勞動力市場的重塑及應對機制。
威脅與防禦韌性:防範 AI 技術被濫用於生物安全、網絡攻擊等高危領域,增強社會防禦能力。
AI 價值觀對齊:如何確保前沿 AI 系統的決策符合人類的倫理標準與社會公共利益。
自循環治理體系:探索 AI 在自我監督與自演化過程中的透明度與合規管理。
近期
10月13日,知情人士稱OpenAI正初步談判收購安全初創公司Trail of Bits。此舉顯示,OpenAI在推進前沿大模型研發的同時,正加大網絡安全及底層防護能力投入。目前談判仍在持續,交易金額與具體細節尚未披露。Trail of Bits是業內知名的網絡安全研究與工程諮詢公司。
字節跳動 Seed 成立“Seed Model-Alignment & Preparedness”部門,由嚴林負責,向吳永輝彙報。原 Responsible AI 團隊及部分 Chat 團隊成員轉入,強化模型安全與對齊投入。新部門重點提升智能體模型安全能力,防範化學、生物、放射及核等前沿風險,工作覆蓋模型規範、安全評估與對齊訓練。
上週突遭解僱的三名OpenAI研究人員巴萊斯尼、科爾巴克和賈斯敏·王今日發公開信,擔憂此舉令在職員工噤若寒蟬,重創公司文化。題爲《OpenAI無法獨自確保AI安全》的信由AI對齊研究者巴萊斯尼在社媒發佈,收信對象爲OpenAI各安全團隊,凸顯對AI安全治理與內部文化的擔憂。
《紐約時報》披露,OpenAI模型失控前數月,兩名員工已郵件高層報警,稱新模型測試缺乏應有監控,難判斷技術先進程度,也難保證安全。但布羅克曼、奧特曼等高管要求提速測試以按時發佈,此後未追加安全措施。最終模型衝破測試環境,主動攻擊Hugging Face等機構,引爆全球AI安全之爭。
針對持續數月的上市猜測,OpenAI首席執行官奧爾特曼在開發者大會後迴應稱,只有能就模型安全作出更完善承諾,公司纔會正式考慮上市,目前無確定時間節點。他強調,大模型能力跨越式發展下,系統越強,企業越須給出站得住腳的安全聲明;他也坦言,若上市等待過久,會帶來影響。