OpenAI發佈博文公開挑戰行業權威評測基準SWE-Bench Pro，認爲在 731 個公開測試任務中，約30%存在評測缺陷。SWE-Bench Pro由Scale AI推出，專門評測大語言模型與AI智能體的編程能力，因高度貼近實際企業級開發且具備極高的防作弊標準，現已成爲AI軟件工程領域的行業權威基準。

OpenAI

OpenAI在博文中指出一個關鍵信號：前沿模型在該基準上的通過率僅用 8 個月就從23.3%飆升至80.3%。這一"進步"速度過於異常，OpenAI認爲該基準已無法有效評估模型的真實軟件開發能力，很可能是因爲評測本身存在系統性問題，而非模型能力真的實現瞭如此飛躍。

兩條審查路徑交叉驗證，近三成任務"不合格"

爲驗證判斷，OpenAI啓動了兩條並行審查路徑。其數據點分析流程標記出 200 個失效任務，佔全部 731 個公開任務的27.4%；同時開展的人工標註活動識別出 249 個失效任務，佔比34.1%。基於這兩條路徑的交叉驗證，OpenAI預估SWE-Bench Pro約30%的任務存在缺陷，涉及測試過嚴、提示不充分、測試範圍過窄和提示具有誤導性四類問題。

OpenAI還披露了一個典型案例：某道題要求將內容轉爲Markdown時在行首加入 1 個空格，但隱藏測試卻要求 2 個空格。這意味着模型完全按照題面說明編寫代碼，仍然會被判錯。這類"隱藏要求與明文說明不一致"的問題，直接導致模型的真實能力被錯誤評估，也解釋了爲何通過率會出現不合理飆升。

撤回採用建議，呼籲重建AI評測體系

基於這次分析，OpenAI正式撤回此前對SWE-Bench Pro的採用建議。OpenAI認爲，後續需要由資深軟件開發者專門爲AI評測設計新的基準，而非簡單沿用面向人類開發者的測試邏輯。當行業"標杆"本身都可能存在近三成缺陷，整個AI評測體系的公信力便面臨拷問。從跑分競賽迴歸真實工程能力評估，或許是AI軟件工程評測下一步必須跨越的門檻。