AI-NEWS · 2024年 10月 26日

Do Large Models Also ‘Lie’? Harvard’s Latest Research Reveals the Truth About AI ‘Hallucinations’


### 总结

大型语言模型(LLMs)的出现,特别是像ChatGPT这样的应用被广泛采用,彻底改变了人机交互的方式。这些模型能够生成连贯且全面的文字内容,给人留下深刻印象。然而,尽管它们功能强大,但LLMs容易产生“幻觉”,即看似真实但实际上却是伪造、无意义或与提示不一致的内容。

哈佛大学的研究人员对LLM的“幻觉”现象进行了深入研究,发现其根源在于LLMs的工作原理。LLMs通过机器学习从大量文本数据中构建概率模型,并根据单词共现的概率预测下一个词。换句话说,LLMs并不真正理解语言的意义,而是基于统计概率进行预测。

研究人员将LLMs比喻为“众包”,认为它们实际上是输出了“网络共识”。类似于维基百科或Reddit这样的平台,LLMs从大量文本数据中提取信息并生成最常见的答案。由于大多数语言使用都是为了描述现实世界,因此LLM产生的答案通常是准确的。然而,在遇到模糊、争议性或缺乏共识的话题时,“幻觉”现象就会发生。

研究设计了一系列实验来测试不同LLMs在各种话题上的表现,结果表明LLMs在常见话题上表现出色,但在处理模糊或争议性话题时准确性显著下降。这项研究表明,尽管LLM是强大的工具,但其准确度依赖于训练数据的质量和数量。因此,在使用LLM尤其是涉及模糊或争议性话题时需要谨慎对待其输出。

该研究也为未来LLMs的发展提供了方向,包括提高它们处理模糊和争议性话题的能力以及增强其输出的可解释性。

Source:https://www.aibase.com/news/12741