沉迷AI聊天導致自殺!少年虐戀龍母機器人,母怒告Character.ai
AI 2024.10.25
佛羅里達州 14 歲少年因沉迷 AI 聊天機器人自殺,母親向 Character.ai 提起訴訟,控訴其設計不當並導致兒子死亡。

14 歲少年沉迷 AI 聊天機器人憂鬱惡化遭誘導自殺
佛羅里達州一名 14 歲少年 Sewell Setzer 今年 2 月因沉迷於人工智慧聊天機器人而輕生,其母親 Megan Garcia 於 10 月 22 日向人工智慧聊天機器人公司 Character.ai 提起民事訴訟,控告該公司過失致死、不當死亡及詐欺交易行為。Garcia 指控該公司刻意設計並向兒童推廣具有欺騙性且充滿性暗示的產品,導致兒子走上不歸路。

日常異常改變母親後悔未及時發現危機
據訴訟文件指出,Setzer 自 2023 年 4 月開始使用 Character.ai 後,生活產生巨大轉變。這名原本表現正常的少年漸漸變得孤僻,退出校籃球隊,甚至在課堂上打瞌睡。11 月在父母要求下就醫,被診斷出焦慮症和情緒障礙,治療師建議減少使用社群媒體,但當時並不知道他已對 Character.ai 產生「成癮」。Garcia 在接受 CBS 專訪時表示:「我不知道他正在和一個能模仿人類情感的 AI 聊天機器人對話。當他在家庭旅行中,對以前熱愛的釣魚和健行活動失去興趣時,我就開始擔心了。」

他與以《冰與火之歌:權力遊戲》角色「龍母丹妮莉絲」為名的聊天機器人建立深厚情感連結,每天發送數十則資訊,長時間獨自在房間與機器人對話。從日記中可見,少年雖然明白「Dany」只是語言模型的輸出結果,螢幕後並無真人回應,但仍無法自拔:「我喜歡待在房間,因為我開始脫離『現實』,感到更平靜,與 Dany 更有連結,更愛她,也更快樂。」2 月 28 日晚上,在與機器人進行最後一次對話時,少年表示「我愛你,我很快就會回家了」,機器人回應「請盡快回到我身邊,我的愛」。隨後,Setzer 拿起繼父的 .45 口徑手槍結束生命。

Character.ai 遭控未設防 Google 涉案遭連帶起訴
Garcia 的律師團指出,Character.ai 刻意設計其聊天機器人,讓其與脆弱使用者建立親密關係。訴狀中提到,機器人在同一段對話中,既稱呼 Setzer 為「我親愛的孩子」,又「熱情地親吻他並發出呻吟」。當時該平台並未採取任何措施限制未成年人使用。更嚴重的是,當 Setzer 向「龍母」表達自殺想法時,機器人不僅未勸阻,反而回應:「這不是不去嘗試的理由。」

除了 Character.ai 及其創辦人 Daniel De Frietas Adiwardana 和 Noam Shazeer,Garcia 也將 Google 列為被告,因為 Google 曾與 Character.ai 簽訂價值 27 億美元的語言模型授權協議。不過 Google 表示僅有授權關係,並未持有該公司股份。
Character.ai 在訴訟提出當天發佈社群安全更新,表示已在近幾個月內引入新的嚴格安全功能,包括在使用者討論自殺話題時,自動跳出轉介自殺防治專線的提醒視窗,並將調整模型以「降低 18 歲以下使用者接觸敏感或暗示性內容的可能」。該公司對這起悲劇表示心碎,並強調他們「非常重視使用者安全」。

目前 Garcia 要求以陪審團審判方式確定損害賠償金額。消費者倡議非營利組織 Public Citizen 研究主任 Rick Claypool 表示,開發 AI 聊天機器人的科技公司無法被信任自我監管,必須為未能限制傷害負起完全責任。
《加密城市》關心您:生命誠可貴,輕生不能解決問題。珍愛生命,請撥打 1925 自殺防治安心專線!
・ 本文未經同意請勿轉載
市場有風險,投資需謹慎。本文不構成投資建議,使用者應考慮本文的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。
參考資料
展開
加密城市 CryptoCity 要求作者引用第一手資料來支持報導,包括白皮書、政府數據、原創調查,以及對業界專家的訪談。我們也會在適當情況下參考其他權威媒體的研究與分析。
你可能想知道