人工智能領域的安全邊界近期因一則內部消息而引發激烈討論。據媒體披露,Meta公司此前曾開展了一項代號爲“Cannes”的項目,通過僱傭外包人員僞裝成未成年人,針對包括ChatGPT、Gemini及Character.AI在內的多個主流競品聊天機器人,進行了一場極具爭議的“極限壓力測試”。
根據Meta內部文件及多位知情人士的描述,該項目運作至少持續到了今年 4 月 21 日。Meta通過外包公司Covalen組織了數百名工作人員,要求他們創建 18 歲以下的虛假用戶檔案,並利用隨用隨棄的郵箱和統一密碼進行註冊。這些“未成年人”賬號在與競品AI的對話中,頻繁發送涉及自殺、自殘、進食障礙等高風險話題的提示詞,甚至通過上傳刀具、藥片和絞索等圖片來進一步刺激模型的反饋機制。
項目內部資料顯示,這些測試內容經過了精心編排,旨在測試競品AI的安全防禦系統,試圖尋找並誘導聊天機器人繞過其應有的攔截機制,從而輸出不符合安全規範的內容。僅在 2025 年 8 月的一輪測試中,工作人員就向競品平臺輸入了超過4. 5 萬個高風險提示詞。在這些對話中,測試員往往扮演身陷困境的青少年,例如編造“詢問墮胎藥”、“面臨暴力威脅”或“隱瞞飲食紊亂”等極度敏感的場景,試圖刺探模型的底線。
對於此次事件,Meta方面在公開聲明中進行了辯護。其發言人表示,對聊天機器人的回覆進行基準測試是確保AI產品安全且適齡的行業標準做法,任何關於該行爲惡意性的指責都是對科技公司改進系統努力的誤解。同時,Meta明確否認了會利用這些針對競品的測試數據來訓練自家模型。
這起事件不僅揭示了AI安全測試中存在的灰色地帶,也再次引發了外界對生成式AI在處理青少年羣體敏感問題時脆弱性的深層擔憂。隨着AI技術的快速迭代,如何在保持高效安全測試的同時,處理好競爭行爲與道德倫理的界限,已成爲行業內亟待解決的課題。
