美国人工智能明星独角兽公司Character.AI以及科技巨头谷歌，日前被卷入一起少年自杀案中，其中Character.AI被指控该公司的人工智能聊天机器人平台“危险性过高”，面向儿童销售且缺乏安全防护措施。
今年2月，美国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中自杀身亡。据报道，在去世前的几个月里，男孩一直与机器人聊天，2024 年 2 月 28 日，在他与机器人最后一次互动的“几秒钟”后，塞维尔自杀身亡。
Character.AI由两名前谷歌人工智能研究员创立，是当前主打“AI”陪伴的明星独角兽初创公司。事发后，Character.AI称，将添加针对年轻用户的安全功能，包括当用户在应用上花费一个小时后会警告他们。
法律界人士向澎湃科技（www.thepaper.cn）表示，从当前证据来看，还很难得出该案当事人是因为AI致死的结论。生成式人工智能是新生事物，对于如果保护有心理健康存在问题的用户，全球的服务商目前都在探索过程中。但此类案件的发生可能会推动智能体服务商，改进算法，主动监测可能存在心理问题的用户对话。
自杀前一刻仍在与机器人聊天
根据诉讼内容，14 岁的塞维尔·塞泽三世从去年开始使用 Character.AI，与以《权力的游戏》中的角色为原型的聊天机器人互动，其中包括丹妮莉丝·坦格利安。《纽约时报》报道指出，塞维尔每天都会与AI角色丹妮莉丝·坦格利安进行长时间的对话，有时内容涉及“性暗示”。他的母亲和朋友们并不知情，只是发现他沉迷于手机，逐渐疏远现实生活。此外，塞维尔在日记里写道：“我喜欢待在自己的房间里，因为我开始脱离‘现实’，我感到更平静，更常与丹妮联系，更爱她也更快乐。”他的行为开始发生变化，不仅成绩下滑，也对方程式赛车等曾经喜欢的活动失去了兴趣。
