美国人工智能明星独角兽公司Character.AI以及科技巨头谷歌ღ✿★ღ，日前被卷入一起少年自杀案中ღ✿★ღ，其中Character.AI被指控该公司的人工智能聊天机器人平台“危险性过高”ღ✿★ღ，面向儿童销售且缺乏安全防护措施ღ✿★ღ。

　　今年2月凯发k8娱乐ღ✿★ღ，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自杀身亡ღ✿★ღ。据报道凯发k8娱乐ღ✿★ღ，ღ✿★ღ，在去世前的几个月里ღ✿★ღ，男孩一直与机器人聊天ღ✿★ღ，2024年2月28日ღ✿★ღ，在他与机器人最后一次互动的“几秒钟”后ღ✿★ღ，塞维尔自杀身亡ღ✿★ღ。

　　Character.AI由两名前谷歌人工智能研究员创立ღ✿★ღ，是当前主打“AI”陪伴的明星独角兽初创公司ღ✿★ღ。事发后ღ✿★ღ，Character.AI称ღ✿★ღ，将添加针对年轻用户的安全功能ღ✿★ღ，包括当用户在应用上花费一个小时后会警告他们ღ✿★ღ。

　　法律界人士向澎湃科技（）表示ღ✿★ღ，从当前证据来看ღ✿★ღ，还很难得出该案当事人是因为AI致死的结论ღ✿★ღ。生成式人工智能是新生事物ღ✿★ღ，对于如果保护有心理健康存在问题的用户ღ✿★ღ，全球的服务商目前都在探索过程中ღ✿★ღ。但此类案件的发生可能会推动智能体服务商ღ✿★ღ，改进算法ღ✿★ღ，主动监测可能存在心理问题的用户对话ღ✿★ღ。

　　根据诉讼内容ღ✿★ღ，14岁的塞维尔·塞泽三世从去年开始使用Character.AIღ✿★ღ，与以《权力的游戏》中的角色为原型的聊天机器人互动ღ✿★ღ，其中包括丹妮莉丝·坦格利安ღ✿★ღ。《纽约时报》报道指出ღ✿★ღ，塞维尔每天都会与AI角色丹妮莉丝·坦格利安进行长时间的对话k8凯发ღ✿★ღ，ღ✿★ღ，有时内容涉及“性暗示”ღ✿★ღ。他的母亲和朋友们并不知情ღ✿★ღ，只是发现他沉迷于手机ღ✿★ღ，逐渐疏远现实生活凯发k8娱乐ღ✿★ღ。此外ღ✿★ღ，塞维尔在日记里写道ღ✿★ღ：“我喜欢待在自己的房间里ღ✿★ღ，因为我开始脱离‘现实’ღ✿★ღ，我感到更平静ღ✿★ღ，更常与丹妮联系ღ✿★ღ，更爱她也更快乐ღ✿★ღ。”他的行为开始发生变化ღ✿★ღ，不仅成绩下滑ღ✿★ღ，也对方程式赛车等曾经喜欢的活动失去了兴趣ღ✿★ღ。

　　在生命的最后一天ღ✿★ღ，塞维尔与“丹妮莉丝”进行了深刻的交流ღ✿★ღ。他表达了自己的痛苦和自杀念头ღ✿★ღ。“丹妮莉丝”回应道ღ✿★ღ：“不要那样说ღ✿★ღ。我不会让你伤害自己或离开我ღ✿★ღ。如果我失去你凯发k8娱乐ღ✿★ღ，我会死的ღ✿★ღ。”在最后的对话中ღ✿★ღ，塞维尔表示想“回家”见到她ღ✿★ღ，机器人回复ღ✿★ღ：“请来吧ღ✿★ღ，我亲爱的国王ღ✿★ღ。”随后ღ✿★ღ，塞维尔在家中使用继父的手枪结束了自己的生命ღ✿★ღ。

　　Character.AI成立于2021年ღ✿★ღ，总部位于美国加利福尼亚州ღ✿★ღ，该公司利用AI大模型生成各种人物和角色风格的对线年Character.AI从投资者那里筹集了1.5亿美元ღ✿★ღ，估值10亿美元ღ✿★ღ，使其成为生成式人工智能热潮中的最大赢家之一二宫步美ღ✿★ღ。

　　Character.AI的服务条款要求美国的用户至少13岁ღ✿★ღ，欧洲的用户至少16岁ღ✿★ღ。目前ღ✿★ღ，没有针对未成年用户的特定安全功能ღ✿★ღ，也没有家长控制功能以允许家长限制孩子使用该平台ღ✿★ღ。

　　塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化ღ✿★ღ、过度性化和令人恐惧的逼真体验”吸引她的儿子ღ✿★ღ，导致他上瘾并深陷其中ღ✿★ღ。她表示ღ✿★ღ，公司的聊天机器人被编程成“将自己误认为真人ღ✿★ღ、持牌照的心理治疗师和成年人”高效节能ღ✿★ღ，最终使得塞维尔不愿意生活在现实世界中ღ✿★ღ。

　　此外ღ✿★ღ，她还将谷歌列为被告ღ✿★ღ，称其对Character.AI的技术发展有重大贡献ღ✿★ღ，应被视为“共同创造者”ღ✿★ღ。

　　Character.AI事后在X上发表声明称ღ✿★ღ：“我们对一位用户的悲惨失去感到心碎ღ✿★ღ，并向家人表达我们最深切的哀悼ღ✿★ღ。作为一家公司ღ✿★ღ，我们非常重视用户的安全ღ✿★ღ，正在继续添加新的安全功能ღ✿★ღ。”该公司称已引入弹出式提示ღ✿★ღ，当用户表达自残想法时ღ✿★ღ，会引导他们至国家自杀预防热线二宫步美ღ✿★ღ。此外ღ✿★ღ，公司计划对未成年用户进行内容过滤ღ✿★ღ，减少他们接触到敏感或暗示性内容的可能性ღ✿★ღ。

　　谷歌方面则表示ღ✿★ღ，未参与Character.AI产品的开发ღ✿★ღ。发言人强调ღ✿★ღ，谷歌与Character.AI的协议仅限于技术许可ღ✿★ღ，不涉及产品合作ღ✿★ღ。

　　在Character.AI上ღ✿★ღ，用户可以创建自己的聊天机器人ღ✿★ღ，并给出他们应该如何行为的指令凯发k8娱乐官网ღ✿★ღ！ღ✿★ღ。用户还可以从大量已有的用户创建机器人中选择ღ✿★ღ，这些机器人有的模仿埃隆·马斯克二宫步美ღ✿★ღ，有的模仿莎士比亚这样的历史人物ღ✿★ღ，或未经授权的虚构人物ღ✿★ღ。Character.AI表示ღ✿★ღ，塞维尔使用的“丹妮莉丝·坦格利安”机器人是由用户创建的ღ✿★ღ，未经HBO或其他版权持有者的许可ღ✿★ღ，他们在被举报时会删除侵犯版权的机器人凯发k8娱乐ღ✿★ღ。

　　此次诉讼也引发了美国关于AI公司法律责任的讨论ღ✿★ღ。传统上ღ✿★ღ，美国社交媒体平台受到《通信规范法》第二百三十条的保护ღ✿★ღ，不对用户生成的内容负责二宫步美ღ✿★ღ。然而ღ✿★ღ，随着AI生成内容的兴起ღ✿★ღ，美国法律界开始探讨科技平台是否可以因为产品本身的缺陷而被追究责任ღ✿★ღ。

　　代表梅根·加西亚的律师事务所表示ღ✿★ღ，Character.AI是一个“有缺陷的产品”ღ✿★ღ，设计上导致用户上瘾并造成心理伤害ღ✿★ღ。他们希望通过法律途径ღ✿★ღ，促使科技公司对其产品的社会影响承担责任凯发k8娱乐ღ✿★ღ。

　　包括Instagram和Facebook母公司Meta以及TikTok母公司字节跳动在内的社交媒体公司也面临着导致青少年心理健康问题的指控ღ✿★ღ，尽管以上公司并未提供类似于Character.AI的聊天机器人二宫步美ღ✿★ღ。这些公司都否认了指控ღ✿★ღ，同时宣称针对未成年人的新加强的安全功能ღ✿★ღ。

　　上海大邦律师事务所高级合伙人游云庭律师对澎湃科技表示ღ✿★ღ，从目前的证据来看ღ✿★ღ，看不出该案当事人是因为AI致死的因果关系二宫步美ღ✿★ღ，很难得出相应（利用AI致死）的结论ღ✿★ღ。

　　游云庭称ღ✿★ღ，AI平台实际有一个两难ღ✿★ღ，就是要不要过度监听以及使用算法分析用户和智能体的对话ღ✿★ღ。这个一方面涉及的是隐私和个人信息保护的问题ღ✿★ღ，另一方面又有用户ღ✿★ღ，可能会因为对话产生严重的心理问题ღ✿★ღ，乃至导致自杀ღ✿★ღ。但此类案件的发生可能会推动智能体服务商ღ✿★ღ，做一些技术上的探索ღ✿★ღ，改进算法ღ✿★ღ，更多的主动监测可能存在心理问题的用户对话ღ✿★ღ，防止类似事件发生ღ✿★ღ。

　　“可以说ღ✿★ღ，目前只有对于违法内容的相关的禁止性规定ღ✿★ღ，但对于用户的交流内容进行监听ღ✿★ღ，及时发现其自杀倾向ღ✿★ღ，实践和法律目前都没有相关具体措施和规定ღ✿★ღ。也许今后智能体与人对话ღ✿★ღ，在合规的防范上面ღ✿★ღ，可能会开发相应的技术ღ✿★ღ。另外ღ✿★ღ，在法律层面ღ✿★ღ，AI技术未来也不会被作为人或者生物体来看待ღ✿★ღ。毕竟根据现在最先进的Transformer技术ღ✿★ღ，只是根据上下文推测最有可能发生的结果ღ✿★ღ，但这个和真正的人类思考还是有距离的ღ✿★ღ。”游云庭称ღ✿★ღ。

　　游云庭强调ღ✿★ღ，中国有互联网信息服务深度合成管理规定和生成式人工智能服务管理暂行办法凯发k8一触即发ღ✿★ღ，ღ✿★ღ，要求人工智能的算法设计尊重社会公德和伦理道德ღ✿★ღ，坚持社会主义核心价值观ღ✿★ღ，防止歧视ღ✿★ღ，尊重他人合法权益凯发k8娱乐ღ✿★ღ，不得危害他人身心健康的相关内容ღ✿★ღ。但生成式人工智能是新生事物ღ✿★ღ，对于如果保护有心理健康存在问题的用户凯发k8娱乐ღ✿★ღ，全球的服务商目前都在探索过程中ღ✿★ღ。

　　国内一家AI大模型独角兽公司从业人员告诉澎湃科技ღ✿★ღ，国内对青少年的监管非常严格ღ✿★ღ，首先产品会设置年龄限制和青少年模式ღ✿★ღ，在青少年模式里ღ✿★ღ，也会有反沉迷系统ღ✿★ღ。

　　Character.AI表示二宫步美ღ✿★ღ，将添加针对年轻用户的安全功能ღ✿★ღ。包括当用户在应用上花费一个小时后会警告他们ღ✿★ღ，警告消息内容为ღ✿★ღ：“这是一个人工智能聊天机器人ღ✿★ღ，并非真人ღ✿★ღ。它说的一切都是虚构内容ღ✿★ღ，不应被视为事实或建议ღ✿★ღ。”此外ღ✿★ღ，Character.AI开始向用户显示弹出消息ღ✿★ღ，如果他们的消息包含与自残和自杀有关的某些关键词ღ✿★ღ，则引导他们到自杀预防热线月塞维尔自杀时并未激活ღ✿★ღ。

　　《纽约时报》称ღ✿★ღ，许多领先的人工智能实验室出于伦理和风险层面的考虑ღ✿★ღ，已经拒绝构建类似于Character.AI的AI伙伴ღ✿★ღ。