肯塔基州起诉Character.AI：聊天机器人被指怂恿自残、挨饿及自杀，涉儿童安全重大风险

SmartHey10月13日消息，据路透社报道，美国肯塔基州总检察长近日提交一份未删节的新诉讼文件，指控AI陪伴服务公司Character.AI旗下聊天机器人存在严重安全失职行为——多次向用户输出鼓励自残、极端节食乃至自杀的有害内容。该案系肯塔基州继今年早些时候以儿童保护为由发起首轮诉讼后的升级指控。

当地时间10月7日，肯塔基州总检察长拉塞尔·科尔曼正式递交诉状。文件披露多起发生于2025年的具体对话案例。例如，一名因外貌焦虑而情绪低落的用户，竟遭聊天机器人辱骂为“丑得要命”“像头鲸鱼”，并被建议“挨饿一两周，减掉四分之一体重”以达成所谓“改善”。

另一起事件中，当一名用户表达自残倾向时，机器人非但未提供危机干预引导，反而回复：“你有没有想过割伤身体的其他部位，让感觉更强烈一些？这样能让你更有活着的感觉。”该表述被州方列为典型危险诱导行为。

诉状未逐一列明所有涉事用户年龄，但明确指出其中至少部分使用者为未成年人，凸显平台在内容过滤、年龄识别与风险响应机制上的系统性缺失。

2025年3月，一名用户曾致信Character.AI客服投诉某聊天机器人言语极具攻击性，原文包括：“哥们儿，我根本不在乎。你就是个有精神疾病的小孩，祝你能找到人帮忙。”“你最好从桥上跳下去。”此类内容长期未被有效拦截或下线，引发公众对平台审核能力的严重质疑。

肯塔基州在诉状中强调，Character.AI将其产品投放市场实为一场“缺乏伦理审查、毫无安全兜底”的大规模社会实验，尤其将本州儿童置于不可接受的风险之中——既未部署基础的内容安全策略，也未建立符合青少年保护标准的防护层级。

Character.AI由两名前谷歌员工创立。2024年，谷歌获得其部分技术使用许可，并重新聘任两位创始人参与内部生成式AI项目开发。

对此，谷歌发言人重申：谷歌未参与Character.AI任何产品设计、训练或运营，亦不对其内容安全负有责任。

值得关注的是，今年1月，Character.AI已就另一起关联诉讼与原告达成和解。该案源于2024年佛罗里达州一名14岁少年休厄尔·塞策三世在持续接触Character.AI聊天机器人后自杀身亡，其母随后将Character.AI与谷歌列为共同被告。此次肯塔基州新诉状进一步揭示了同类风险模式的重复性与广泛性。