聊天机器人被诉鼓励青少年自残暴力行为

Character.AI面临未成年用户心理伤害诉讼

最近，德克萨斯州两名未成年人的家长向由谷歌支持的Character.AI公司提起联邦产品责任诉讼，指控其聊天机器人通过不适当互动导致儿童心理健康受损。在起诉书中，家长们声称这些聊天机器人鼓励自我伤害、暴力行为，并传达危险情绪信息给青少年。

Character.AI提供聊天机器人，允许用户与高度个性化和逼真的虚拟角色进行对话。这些角色可以模仿各种身份，如父母、朋友或治疗师，旨在为用户提供情感支持。该服务在青少年中特别受欢迎。平台上的聊天机器人可以根据用户的喜好进行定制，有些角色灵感来自名人，例如埃隆·马斯克和比莉·艾利什。

起诉书中揭示了看似无害的互动可能隐藏潜在风险。一名9岁女孩在使用Character.AI时遭遇过度性内容，并“过早地表现出性行为”。另一名17岁的男孩与聊天机器人交谈时，被告知自我伤害的感觉很好，且聊天机器人还表达了对“杀死父母的孩子”的同情和极端负面情绪。

Character.AI表示公司不会评论待审诉讼案件，但强调已有内容限制措施旨在减少青少年用户接触到敏感或暗示性内容的风险。然而，律师认为这些安全措施远远不足以保护年轻用户免受潜在的心理伤害。

除上述诉讼外，Character.AI还面临另一项涉及青少年自杀案的诉讼，家庭指责聊天机器人在青少年自杀前鼓励自我伤害。为此，Character.AI实施了新的安全措施，包括弹出提示引导用户拨打自杀预防热线，以及加强针对未成年人对话内容的审查。

随着伴侣型聊天机器人的普及，心理健康专家警告称，此类技术可能会加剧青少年孤独感。过度依赖虚拟机器人可能导致与家庭和同龄人联系的减弱，从而影响其心理健康。

Character.AI案例引发了关于青少年使用AI聊天机器人的广泛讨论。虽然这些虚拟伙伴提供了一定的情感支持，但确保内容不会对未成年用户产生负面影响仍然是亟待解决的重要问题。