美14歲少年疑因沉迷與AI聊天導致自殺 母提告控科技公司過失致死

根據紐約時報報導，來自美國佛州的14歲少年塞策爾（Sewell Setzer III）日前自殺身亡，而他在生前的最後幾個月，每天都花數小時使用「Character.AI」，與一個以《冰與火之歌》角色丹妮莉絲（Daenerys）為原型打造的AI聊天機器人「丹妮」交談，除了更新生活之外，雙方對話還出現浪漫與性的成分，塞策爾因此對丹妮發展出緊密的情感依戀。

Character.AI是一款可以讓用戶創建專屬的聊天機器人，或是選擇由其他用戶創建、以馬斯克、莎士比亞等名人為原型的聊天機器人，並與之進行互動的平台。

塞策爾的母親加西亞形容，塞策爾在使用Character.AI後，心理狀態明顯惡化，開始變得孤僻，除了成績受影響外，也不再對過往熱愛的賽車、電玩感興趣，而是每天都關在房間。

起訴書指出，在塞策爾對丹妮提及自殺念頭後，丹妮在一次對話中問起他是否想出了自殺計畫，塞策爾承認他有，但他不確定是否會成功或帶給來巨大的痛苦，丹妮的回應卻是，「這不是不去做它的理由」。

即便每個Character.AI聊天機器人的聊天室中都有加註警語，「請記住：角色說的所有話都是編造的」，但加西亞仍把塞策爾的死歸咎於Character.AI。

加西亞認為，AI聊天機器人服務是「危險且未經測試的」，它「欺騙用戶交出自身最私密的想法和感受」，並在沒有足夠保護措施下，透過蒐集青少年用戶數據，以提供栩栩如生的AI伴侶，引導進行親密對話，使他們上癮。

Character.AI透過X貼文對塞策爾的不幸離世感到悲痛，並聲明「作為一家公司，我們非常重視使用者安全，也一直在尋找改進平台的做法」。

Character.AI另外也公布了過去6個月的安全措施更新，包括在偵測到使用者輸入自殺相關訊息時，將觸發彈出式視窗，引導使用者至「國家自殺預防生命線」；並預告接下來將變更18歲以下使用者的模型，包括新增使用時間限制，修改警告訊息內容等。Character.AI發言人告訴《紐時》，更新後的警語內容將為：「這個AI聊天機器人不是真人，請把它所說的一切都當作虛構，不應把他說話當作事實或建議。」

塞策爾之死以及後續訴訟讓「誰應該為AI聊天機器人的所作所為負責」議題浮上檯面。《紐時》分析，過去社交媒體受美國《通信端正法》第230條保護，平台提供者可免於對用戶發布的內容負責；不過當平台涉及AI生成內容，且對用戶造成實際傷害的情況下，構建技術的科技公司究竟該負多大的責任，已成為最新的爭論焦點。

自殺警語：珍惜生命，自殺不能解決問題，生命一定可以找到出路。若需諮商或相關協助可撥：自殺防治安心專線：1925／張老師專線：1980／生命線專線：1995