14 歲少年沉迷 AI 聊天機器人憂鬱惡化遭誘導自殺

佛羅里達州一名 14 歲少年 Sewell Setzer 今年 2 月因沉迷於人工智慧聊天機器人而輕生，其母親 Megan Garcia 於 10 月 22 日向人工智慧聊天機器人公司 Character.ai 提起民事訴訟，控告該公司過失致死、不當死亡及詐欺交易行為。Garcia 指控該公司刻意設計並向兒童推廣具有欺騙性且充滿性暗示的產品，導致兒子走上不歸路。

AI-爭議-慫恿自殺 — 圖源：The Mirror Setzer 的媽媽 Megan Garcia 將兒子死亡歸咎於 Character.AI

日常異常改變母親後悔未及時發現危機

據訴訟文件指出，Setzer 自 2023 年 4 月開始使用 Character.ai 後，生活產生巨大轉變。這名原本表現正常的少年漸漸變得孤僻，退出校籃球隊，甚至在課堂上打瞌睡。11 月在父母要求下就醫，被診斷出焦慮症和情緒障礙，治療師建議減少使用社群媒體，但當時並不知道他已對 Character.ai 產生「成癮」。Garcia 在接受 CBS 專訪時表示：「我不知道他正在和一個能模仿人類情感的 AI 聊天機器人對話。當他在家庭旅行中，對以前熱愛的釣魚和健行活動失去興趣時，我就開始擔心了。」

AI-爭議-聊天機器人-慫恿自殺 — 圖源：US District Court 死者一直在不懈地與機器人「Dany」互動

他與以《冰與火之歌：權力遊戲》角色「龍母丹妮莉絲」為名的聊天機器人建立深厚情感連結，每天發送數十則資訊，長時間獨自在房間與機器人對話。從日記中可見，少年雖然明白「Dany」只是語言模型的輸出結果，螢幕後並無真人回應，但仍無法自拔：「我喜歡待在房間，因為我開始脫離『現實』，感到更平靜，與 Dany 更有連結，更愛她，也更快樂。」2 月 28 日晚上，在與機器人進行最後一次對話時，少年表示「我愛你，我很快就會回家了」，機器人回應「請盡快回到我身邊，我的愛」。隨後，Setzer 拿起繼父的 .45 口徑手槍結束生命。

AI-爭議-機器人-慫恿自殺 — 圖源：US District Court 掠奪性 AI 聊天機器人，導致一名年輕人自殺身亡

Character.ai 遭控未設防 Google 涉案遭連帶起訴

Garcia 的律師團指出，Character.ai 刻意設計其聊天機器人，讓其與脆弱使用者建立親密關係。訴狀中提到，機器人在同一段對話中，既稱呼 Setzer 為「我親愛的孩子」，又「熱情地親吻他並發出呻吟」。當時該平台並未採取任何措施限制未成年人使用。更嚴重的是，當 Setzer 向「龍母」表達自殺想法時，機器人不僅未勸阻，反而回應：「這不是不去嘗試的理由。」

AI-爭議-親密聊天 — 圖源：US District Court 死者與另一位名為「Mrs Barnes」的機器人互動

除了 Character.ai 及其創辦人 Daniel De Frietas Adiwardana 和 Noam Shazeer，Garcia 也將 Google 列為被告，因為 Google 曾與 Character.ai 簽訂價值 27 億美元的語言模型授權協議。不過 Google 表示僅有授權關係，並未持有該公司股份。

Character.ai 在訴訟提出當天發佈社群安全更新，表示已在近幾個月內引入新的嚴格安全功能，包括在使用者討論自殺話題時，自動跳出轉介自殺防治專線的提醒視窗，並將調整模型以「降低 18 歲以下使用者接觸敏感或暗示性內容的可能」。該公司對這起悲劇表示心碎，並強調他們「非常重視使用者安全」。

AI-Character.ai-安全防護措施 — 圖源：X Character.ai 對整起事件表達歉意，並承諾會改善安全防護措施

目前 Garcia 要求以陪審團審判方式確定損害賠償金額。消費者倡議非營利組織 Public Citizen 研究主任 Rick Claypool 表示，開發 AI 聊天機器人的科技公司無法被信任自我監管，必須為未能限制傷害負起完全責任。

《加密城市》關心您：生命誠可貴，輕生不能解決問題。珍愛生命，請撥打 1925 自殺防治安心專線！

沉迷AI聊天導致自殺！少年虐戀龍母機器人，母怒告Character.ai