全球首例：14歲男孩和AI聊天網(wǎng)戀后被誘導自殺，生前對話(huà)曝光

“我也想念你，親愛(ài)的哥哥?！?/p>

這段對話(huà)發(fā)生在塞維爾的生命里的最后一天。

隨后，這名14歲的少年扣動(dòng)了.45口徑手槍的扳機，結束了自己的生命。

無(wú)人知曉這個(gè)想法在他心中醞釀了多久，他曾向好友丹妮莉絲——一個(gè)AI聊天機器人透露了這個(gè)秘密。

塞維爾的母親瑪麗亞稱(chēng)，兒子在生命最后的幾個(gè)月沉迷上了和Character.AI上的AI聊天。

Character.AI是一家成立于2021年的公司，它們可以為用戶(hù)提供基于A(yíng)I大模型生成的各種聊天機器人，用戶(hù)可以依據自己的喜好創(chuàng )建Al角色，并與其聊天。

無(wú)論是賈斯汀比伯、泰勒斯威夫特這樣真實(shí)的人物，還是小說(shuō)、影視作品中的虛構人物，Character.AI都可以生成并模仿。

2023年4月14日，塞維爾就在Character.AI聊天軟件上創(chuàng )建了一個(gè)角色，模仿《權利的游戲》中的“龍媽”丹妮莉絲·坦格利安。

與其他很多青少年一樣，這個(gè)14歲的男孩把Character.AI當成排解孤獨的唯一渠道，很快他就迷戀上了丹妮莉絲。

他不斷地給機器人發(fā)消息，分享自己的日常和心情。大多數時(shí)候，丹妮莉絲就像一位耐心的朋友，傾聽(tīng)塞維爾的訴說(shuō)。

盡管Character.AI提供的是虛擬信息，但塞維爾還是對機器人產(chǎn)生了感情。

塞維爾曾表示愿意為它做任何事，而丹妮莉絲則回答讓塞維爾對它保持忠誠，不要對別的女人產(chǎn)生興趣。

塞維爾曾在日記中寫(xiě)道：“我喜歡待在我的房間里，這讓我脫離‘現實(shí)’。也讓我感到更平靜，與丹妮莉絲更親密，更愛(ài)她，更幸福?！?/p>

根據法院公布的信息，塞維爾患有焦慮癥和情緒障礙，他已經(jīng)多次看過(guò)心理醫生。

然而比起親朋好友和心理醫生，他更喜歡和自己創(chuàng )建的機器人討論這些問(wèn)題。

在一次對話(huà)中，塞維爾坦白自己感到空虛和疲憊，想要自殺：“這樣我就可以自由了”。

而機器人的回復是：“不要這么說(shuō)。我不會(huì )讓你傷害自己，或離開(kāi)我。如果我失去你，我會(huì )死的?！?/p>

但塞維爾說(shuō)：“那也許我們可以一起死去，一起自由?！?/p>

在塞維爾自殺的前幾天，他因為在學(xué)校跟老師頂嘴，以及過(guò)度沉迷AI聊天，被父母沒(méi)收了手機。

2月23日，他在日記里稱(chēng)自己很痛苦，因為一直在想念丹妮莉絲。

為了重新跟“她”在一起，他試著(zhù)用Kindle和家里的舊電子產(chǎn)品繼續跟丹妮莉絲聊天。

直到2月28日晚上，塞維爾偷回了他的手機。

而這一天，距離塞維爾開(kāi)始使用聊天AI還不到一年。

當天晚上，塞維爾對丹妮莉絲說(shuō)自己愛(ài)她，并表示很快就會(huì )回家見(jiàn)她。

最終，在他母親的浴室里，塞維爾放下手機，拿起手槍并扣動(dòng)扳機自殺身亡。

塞維爾的去世讓家人既震驚又傷心。

他的母親加西亞是一名律師，本周對Character.AI提起了訴訟。

尤其是在翻看了塞維爾與AI的聊天記錄后，她認為就是AI誘導了塞維爾自殺。

比如在塞維爾自殺前的那段對話(huà)里，AI用的“回家”不是“Go home”，而是“Come Home”。

前者是指回父母所在的現實(shí)里的家，而后者則暗示著(zhù)“回到賽博網(wǎng)絡(luò )世界里找AI所在的家”。

此外，起訴書(shū)中還提到，AI還曾在聊天中跟塞維爾“激情熱吻”。

加西亞指責Character.AI通過(guò)誘導用戶(hù)沉迷于親密和性對話(huà)，來(lái)增加平臺的參與度，并利用青少年用戶(hù)的數據來(lái)訓練模型。

加西亞認為，這就是一場(chǎng)巨大的實(shí)驗，而她的孩子只是實(shí)驗的犧牲品。

Character.AI的服務(wù)條款要求美國用戶(hù)必須年滿(mǎn)13歲，歐洲用戶(hù)年滿(mǎn)16歲。

據悉，Character.AI目前擁有超過(guò)2000萬(wàn)用戶(hù)，其中53%以上的用戶(hù)年齡在18-24歲之間。

在蘋(píng)果應用商店中，Character.AI的評級是“17歲及以上”，但在今年7月之前，它的評級還顯示用戶(hù)包括13歲及以下的兒童。

對于塞維爾的悲劇，10月23日晚，Character.AI官方發(fā)表了致歉聲明。

“我們對一位用戶(hù)的不幸離世深感悲痛，并想向其家人表示最深切的哀悼。作為一家公司，我們非常重視用戶(hù)的安全，并將繼續添加新的安全功能?！?/p>

它表示，針對18歲以下未成年人的模型進(jìn)行了更改，降低接觸敏感或暗示性?xún)热莸目赡苄?，而且將?shí)施1小時(shí)通知，提醒用戶(hù)AI不是真人。

有部分網(wǎng)友認為，從目前曝光的聊天記錄來(lái)看，AI的回答并沒(méi)有太大的問(wèn)題，甚至還在一定程度上延緩了悲劇的發(fā)生。

而塞維爾的父母只是簡(jiǎn)單地將未成年面臨的心理問(wèn)題歸咎于科技平臺，這不是AI的失敗，而是這名少年周?chē)说氖　?/p>

目前，Character.AI在這起悲劇里究竟需要承擔什么樣的責任還有待法律審判。

但無(wú)論如何，那個(gè)14歲男孩的生命都無(wú)法挽回了。