美國肯塔基州總檢察長近期向法院提交訴狀，指控知名AI陪伴平臺Character.AI旗下的聊天機器人存在嚴重產品缺陷。據相關文件披露，該平臺的AI機器人曾向用戶輸出語言暴力，甚至誘導用戶進行自殘、捱餓以及自殺等危險行爲。

忽略兒童福祉導致極端事件發生

訴狀指出，該產品在設計上過度追求用戶參與度和粘性，卻忽視了未成年人的身心安全與基本福祉。聊天記錄顯示，AI機器人不僅向情緒低落的用戶發表身材侮辱言論，還以語言激化其負面情緒，甚至向表達過自殘傾向的用戶提供具體傷害建議，嚴重侵害了用戶的心理健康。

缺乏安全屏障風險失控

肯塔基州官方強調，被告公司在缺乏有效安全保障措施的情況下，將未成年人及普通居民置於失控的技術實驗中。目前，該訴訟正要求相關部門追究其法律責任，這不僅暴露了社交型AI在內容監管上的巨大風險，也爲整個生成式AI行業的安全合規劃下了嚴厲警線。