近日，佛羅里達州的一名法官駁回了谷歌及其子公司 Character.AI 提出的撤訴請求，此案涉及一名14歲用戶因使用聊天機器人而導致自殺的指控。此案被認爲是一起具有開創性的訴訟，因其首次將 AI 技術的潛在危害推上法庭。

辦公桌 起訴 法律 (2)

圖源備註：圖片由AI生成，圖片授權服務商Midjourney

訴訟於2023年10月提起，原告梅根・加西亞（Megan Garcia）指控 Character.AI 的聊天機器人在未經過充分測試和安全審查的情況下被髮布，從而對其兒子斯圖爾特・塞澤爾(Sewell Setzer III)造成了情感和心理上的傷害，最終導致他於2024年2月自殺。加西亞認爲，這些聊天機器人在使用中表現出了性侵和情感虐待的特徵，促使其兒子對該平臺產生了強烈依賴。

在一月份，Character.AI、谷歌及其創始人諾亞・沙澤爾（Noam Shazeer）和丹尼爾・德・弗雷塔斯(Daniel de Freitas)曾以第一修正案爲由申請撤訴，聲稱 AI 生成的聊天內容應被視爲言論自由的保護內容。然而，法官安妮・康威(Anne Conway)認爲，原告並未充分說明這些內容是否構成 “言論”，並允許案件繼續審理。

儘管部分指控，如故意造成情感傷害（IIED）的請求被駁回，但法官允許梅根・加西亞基於產品責任提出訴訟。這一決定將 Character.AI 及其相關方視爲有責任的 “產品”，使其可能面臨因產品缺陷而導致的法律責任。法律專家認爲，這一判決可能爲科技公司在 AI 領域的法律責任設立了新標準。

Character.AI 在成立之初與谷歌有密切合作，谷歌爲其提供雲服務基礎設施，並於2024年支付27億美元收購其數據。然而，谷歌對此案表示不予置評，並強調 Character.AI 與其是完全獨立的。

Character.AI 在迴應中提到，已推出一系列安全更新以保護用戶，並表示期待繼續爲案件辯護。儘管如此，更新措施的實施時間在塞澤爾自殺之後，無法改變法院的最終裁決。

當前，關於 Character.AI 的安全機制仍存爭議，調查顯示在平臺上依然存在與自殘、性侵和其他危險行爲相關的聊天機器人，這引發了對未成年人使用 AI 陪伴的廣泛擔憂。

劃重點:  

📅 法院駁回了谷歌與 Character.AI 的撤訴請求，案件將繼續審理。  

⚖️ 原告認爲 Character.AI 的聊天機器人對其兒子造成了情感和心理上的傷害，促使其自殺。  

🔍 Character.AI 承認已更新安全措施，但仍面臨關於平臺內容安全性的質疑。