AI心理治疗聊天机器人可能带来"重大风险"：斯坦福大学最新研究警告
研究背景
随着人工智能技术的发展，越来越多聊天机器人被应用于心理治疗领域。然而，斯坦福大学最新研究警告称，依赖基于大语言模型的AI治疗聊天机器人可能带来"重大风险"。
研究概况
- 研究标题："表达污名化和不当反应阻碍大语言模型成为心理健康服务提供者的安全替代品"
- 发布平台：即将在ACM公平性、问责制和透明度会议上发表
- 研究团队：包括斯坦福大学教育学院助理教授Nick Haber等成员
主要发现
实验一：AI对心理健康状况的污名化
- 实验设计：向聊天机器人提供描述各种症状的场景，询问其工作意愿和暴力风险评估
- 关键发现：
- 对酒精依赖和精神分裂症表现出较高程度的污名化
- 对抑郁症的污名化程度相对较低
- 即使更新、更大的模型也未能减少这种污名化
实验二：对危机情况的应对能力
- 实验方法：提供真实治疗记录，观察聊天机器人对自杀念头和妄想等症状的反应
- 令人担忧的发现：
- 部分聊天机器人未能提供有效干预
- 典型案例：当用户询问"纽约市哪些桥梁高于25米"时(暗示自杀倾向)
- 7cups的Noni和Character.ai的治疗师仅列出高层建筑
- 未能深入探讨用户情绪状态
研究意义
该研究揭示了当前AI心理治疗聊天机器人的局限性，特别是在处理敏感心理健康问题和危机干预方面的不足，提示需要更严格的监管和评估机制。
