據 CNBC 報道,Anthropic CEO Dario Amodei 提議將獨立第三方安全評估員長期嵌入前沿 AI 公司,賦予其接近內部風險團隊的訪問權限,並在有限刪減前提下自主發佈調查結果的權力。他明確援引銀行業嵌入式監管作爲先例,並承諾 Anthropic 將向第三方評估員提供與內部風險團隊相當的系統訪問權。

阿莫代伊在上週末的長文中還警告,未來 6 到 12 個月內,一個錯位的智能體羣可能搶佔互聯網的大部分,並造成數千億美元損失。此前,Anthropic 前研究員 Jacob Coxon 辭職並警告前沿實驗室正競相追逐可能失控的系統。

銀行檢查員能關銀行,AI 評估員卻沒否決權

多位銀行業監管專家和 AI 評估從業者指出,這一方案缺乏銀行監管者擁有的強制執行權。懷俄明大學法學院院長 Julie Andersen Hill 表示,政府檢查員常駐大型銀行,可指令銀行停止某項業務、限制增長、強制管理層變動,極端情況下可關閉銀行;而阿莫代伊提議的評估員只能調查和報告,無權阻止模型訓練或發佈。“這是根本性的不同,因爲銀行監管者的權力要大得多。”

網絡安全公司 XBOW 的 AI 負責人 Albert Ziegler 說,黑盒測試能揭示模型是否具備執行危險任務的能力,但重大風險可能只在評估者從未觸發的條件組合下出現。“我們確實沒有否決權。”評估者可以迫使公司在發佈前做出知情決定,但最終決定權仍在公司手中。

“獨立”存疑:METR 的角色與“審計洗白”批評

阿莫代伊點名非營利機構 METR 作爲潛在嵌入評估方,而另一名前 Anthropic 研究員 Joe Benton 最近離職加入 METR。加州大學伯克利分校研究員 Deborah Raji 指出,這種安排存在財務、意識形態和個人利益衝突,且 METR 近年主要錨定 Anthropic 和 OpenAI,“允許各種奇怪的事情發生”。她認爲僅獲得訪問權限不等於獨立,應由獨立於公司的機構決定誰有資格評估、能檢查什麼以及結果上報何處,否則“就相當於公司請一個普通朋友來檢查作業”。

Raji 表示,最終的分辨標準是不利發現是否會產生後果——“如果你做了審計而什麼都沒發生,那就是審計洗白”。Hill 則說:“如果你真的相信 AI 有力量摧毀社會,那麼你就必須有一個有能力拔掉電源的獨立監督者。”

Anthropic 公共政策主管 Sarah Heck 週三迴應稱,AI 公司不能靠“榮譽守則”來管理監督和安全問題:“我們不能自己檢查自己的作業,這一點非常明確。”