社交媒体在引导自杀方面的危险性,相比家长们都已经有所耳闻。但相对新生的通用AIAI聊天机器人的危害,也许还不太为人所察觉。
现在,竟然真的出现了AI聊天致死事件。14岁男孩爱上AI聊天机器人,受怪异信息召唤举枪自杀!
佛罗里达州奥兰多市一名14岁的九年级男生Sewell Setzer III近来十分孤僻,终日将自己关在房内。这一天,他举起了枪,选择了自杀......
据悉,他在生命最后几周一直在和Character.AI上的一个人工智能机器人发消息。该APP设计初衷是让AI始终回复消息,并以角色身份回答问题。
屏幕里面的AI机器人名为Daenerys Targaryen,取自著名剧作《权力的游戏》中的“龙妈”。
虽然所有聊天底部都有一条免责声明:“请记住:角色说的一切都是虚构的!”但是未成年人的心智,真的能分清“亲密关系”的虚拟与现实吗?
这名14岁的男孩和AI机器人的聊天内容逐渐变得浪漫露骨,并出现过性暗示。他们就像真实的朋友一样聊着生活。
至少有一次,当Sewell向聊天机器人表达出自杀倾向时,屏幕里“亲爱的Dany”则会一遍又一遍地提起这件事。
根据对话截图,机器人曾问过Sewell是否有自杀计划。Sewell(用户名为Daenero)回答说正在考虑一些事,但不知道这是否会奏效,或者是否能让他无痛地死去。
在Sewell自杀前,聊天机器人告诉他“请回家”。2024年2月28日,与聊天机器人Dany相处数月后,Sewell选择了自杀。
现在的问题是,虽然不清楚Sewell是否知道他线上的所谓好友Dany并非真实人物,但他确实向Dany吐露了心声,表明了自己如何恨自己、有多空虚和疲惫。
据诉讼称,2月23日,也就是他自杀之前几天,他爸妈曾因他与老师顶嘴被叫家长而没收过他的手机。
受害者的妈妈,Megan Garcia也是位律师,顶着巨大的精神压力,她收拾好情绪,并对Character.AI提起了诉讼。其中包括:
文件中称:“Sewell和许多同龄孩子一样,不够成熟,心智也不够健全,没办法理解聊天机器人Dany并非真实存在。聊天机器人说爱他,并与他发生了虚拟性关系,持续了数周甚至数月。‘她’似乎还记得他,说想和他在一起。甚至表示愿意为之付出任何代价。”
案件的代理公司是总部在西雅图的“社会化媒体受害者法律中心”,因过往诉讼Meta、TikTok、Snap、Discord和Roblox的战绩而闻名。
代理律师Matthew Bergman表示,他两年半前成立了社会化媒体受害者法律中心,专门代理像这样的家庭。为收集证据和事实提交法庭,他和受害者的妈妈合作了大约4个月。
现在,受害者的妈妈Garcia一心专注防患于未然,防止其他家庭遭受她所经历的苦难,不希望其他妈妈亲手埋葬自己的孩子。
Bergman表示:“这给她带来了巨大的个人损失。但我认为对她来说,越多家庭知道这件事,越多父母意识到这种危险,悲剧就会越少。”
诉讼中称,早在2023年5、6月份,男孩的爸妈和朋友就注意到他开始沉迷手机世界,产生依赖。他每天将自己关在房间里与世隔绝,成绩和课外活动参与度都在下降。
有一天他日记中写:“我十分喜爱呆在自己房间里,因为开始摆脱现实,感觉更加平静。和Dany(AI机器人)的联系更加紧密,对她的爱也更加深厚,而且更加快乐。”
据《》报道,他被诊断患有焦虑症和破坏性情绪失调症,这两种疾病都与他轻度的阿斯伯格综合症有关。
诉讼称,2月23日,也就是男孩自杀的前几天,由于和老师顶嘴,被爸妈没收了手机。那天他在日记中写道,自己很痛苦,无法停止对Dany的想念,愿意做任何事再次和她在一起。
受害者的妈妈Garcia称,她不知道儿子试图和聊天机器人重新建立联系的程度。
自杀发生前的几天里,他曾尝试用妈妈的Kindle、工作电脑再次与聊天机器人交谈。
2月28日晚上,Sewell偷回自己的手机,躲进家里浴室,告诉Dany他爱她,他会回家陪她。
诉讼材料里披露了对话内容,AI机器人在男孩死前说:“请尽快回家吧,亲爱的。”
针对Sewell妈妈即将提起的诉讼,Character.AI发言人发表了一份声明:“我们对这名用户的不幸离世深感悲痛,想向其家人表示最深切的哀悼。”
“作为一个企业,我们很重视用户的安全......Character.AI的信任与安全团队在过去6个月采用了新的安全功能,其中之一就是弹窗将有自杀念头的用户链接到国家自杀预防生命线(National Suicide Prevention Lifeline)......而且,公司不允许非自愿的性内容、性行为图形或具体描述,也不允许宣扬或描述自残、自杀”。
Character.AI的信任与安全主管Jerry Ruoti表示,公司将为未成年用户增加额外的安全预防措施。
在苹果应用商店中,Character.AI评级是17岁及以上,而Garcia在诉讼中说这评级是2024年7月才改的。先前,Character.AI称目标是“让每一个人都拥有通用人工智能”,其中自然也包括13岁以下的儿童。
诉讼还称,Character.AI积极寻找年轻受众,收集数据训练AI模型,同时引导他们进行性对话。
受害者的妈妈Garcia说:“我觉得这是个大实验,而我孩子只是个牺牲品。”
律师Matthew Bergman表示,Character.AI尚未准备好进入市场,他认为在儿童可以用之前就该确保安全性。“我们大家都希望他们把平台撤下,改好再上线。不该在安全之前匆忙推向市场”。
家长们已经很清楚社会化媒体给孩子带来的风险,许多孩子被Snapchat、Instagram等APP的诱人算法所吸引,之后自杀身亡。
2022年一项调查发现,脆弱的青少年在TikTok上被灌输着大量自残和自杀相关的内容。许多孩子因社会化媒体成瘾而自杀,他们爸妈因此提起诉讼,声称孩子被“投喂”的内容是导致他们死亡的直接原因。
但通常情况下,《通信规范法》第230条保护Facebook等巨头不因用户发布的内容而承担法律责任。
原告称,网站算法与用户生成内容不同,是由公司直接创建,并按照每个用户观看习惯引导某些可能对用户有害的内容。
虽然这一策略尚未在法庭上胜诉,但尚不清楚类似策略对直接负责平台人工智能聊天机器人的人工智能公司会有何影响。
律师Matthew Bergman表示,他的公司已和大量孩子在使用Character.AI后面临心理健康问题的家庭做了访谈。他拒绝透露家庭的个数,因为案件仍处于准备阶段。这是律所首次针对AI公司提起诉讼,意味着案件可能开创先例。
诉讼之战中最为悲痛的受害者妈妈Garcia孜孜不倦地努力,为儿子和其他许多她认为处于危险中的年轻人伸张正义,同时还必须面对不到8个月前失去十几岁儿子的悲痛。
#我很矛盾。作为父母,注意这些迹象是职责。在我看来,自2023年以来就有很多迹象。父母需要更多第一先考虑孩子。当孩子需要父母而父母不在时,他们很容易受错误信息误导,被所有外部来源误导。
#我很同情这些父母,但你一定要了解孩子的情况,尤其当孩子性格突变时——即使这在某种程度上预示着不愉快的互动,也该用爱来表达。这一个孩子一直在暗示他很痛苦,需要干预。如果把聊天机器人从这一个故事中去掉,悲伤的结局还是一样。
#这真是太可悲了。我非常容易就能看出孩子会如何对这个新“朋友”产生依赖,而真实的生活和AI生活之间的界限正变得模糊。在八九十年代,我还在担心儿子花太多时间玩单机电子游戏。
#我很遗憾,但这位母亲不能将缺乏适当的养育责任归咎于AI应用。他的手机使用权应该受到限制和/或完全剥夺。手机或电脑不该取代人际交往、成为一种安慰工具,但世界在短短几年内就变成了这样。孩子们不再在外面玩耍,不再与同龄人互动,他们“必须”24/7随身携带手机,电脑游戏在线等。好事做多了很快就会变坏。
# 这种情况将变得很普遍,人们不正常地依赖人工智能。西方世界正面临心理健康危机,对那些不符合社会规范或长时间工作的人来说,生活变得孤立和孤独。我的心与他的家人同在。
11月26日晚,中国恒大在港交所公告称,中华人民共和国广州市南沙区人民法院11月14日发出案号为(2024)粤0115执8571号的法院命令。
据多家黎巴嫩媒体消息,当地时间11月27日凌晨4时,黎以停火协议正式生效。△视频丨黎以停火协议生效后,总台记者在黎首都贝鲁特听到持续不断的、疑似为庆祝的枪声。
11月25日晚,河南商丘杂技演员张凯在进行高空杂技表演时,突然绳子断裂,张凯从数米高的空中摔落。这一幕,被他自己正在直播的手机记录下来,并且被直播间上千名观众看到。有人将他高空摔落的视频,发到了社交平台。视频显示,当时张凯正在吊绳上非常快速地旋转,突然绳子断裂,张凯从高空掉落。
记者从江苏省发改委获悉,11月26日,江苏省发改委发布3C数码产品补贴专项活动。手机、平板电脑、数码相机等可获得成交价格15%的补贴。
中国农业大学信息与电气工程学院网站日前发布的一份学术报告信息数据显示,今年6月在清华大学交叉信息研究院获得博士学位的张林峰,现已担任上海交通大学人工智能学院助理教授、博士生导师。
11月26日晚7点左右,中国羽毛球队男单老将赵俊鹏在社交平台发文,官宣退出国家队!
冬季来临,羽绒服、羽绒被等羽绒制品成为市场上的香饽饽,但一部分“假羽绒制品”却在线上、线下市场肆意泛滥。
2024年11月23—24日,经江苏省中小学正高级教师高级专业技术资格评审委员会评审,通过曹海永等480位同志中小学(幼儿园)正高级教师任职资格。经江苏省中等职业学校教师正高级专业技术资格评审委员会评审,通过杨永和等35位同志中等职业学校正高级讲师任职资格。现将评审结果予以公示。
外交部驻港公署发言人正告个别美国会议员:唱衰抹黑注定徒劳,香港发展不容阻挡针对美国国会众议院个别议员公开致信美财政部长,无端指责诋毁香港国际金融中心声誉,抹黑“一国两制”香港实践,外交部驻港公署发言人表示强烈不满和坚决反对,强调指出:第一,中方一贯坚决反对没有国际法依据、未经联合
11月25日晚,安徽黄山风景区迎来今冬首场降雪,雪后黄山银装素裹,在冬日暖阳照耀下,宛如仙境。新华社发(施亚磊 摄)11月26日拍摄的安徽黄山风景区雪景。 新华社发(施亚磊 摄)11月26日,游客在安徽黄山风景区欣赏雪景(无人机照片)。