原论文地址：https://arxiv.org/abs/2401.11817
摘要
幻觉一直被认为是大型语言模型 (LLM) 的一个重大缺陷。许多研究试图减少幻觉的产生，但迄今为止这些努力大多是经验性的，无法回答幻觉是否可以完全消除这一根本性问题。该研究通过形式化方法证明 LLM 存在固有的幻觉问题，即 LLM 不可能完全避免生成与真实世界不符的信息；并探讨了现有缓解幻觉的方法及其有效性，并强调了对 LLM 安全性进行严格研究的重要性。
简介
大型语言模型 (LLM) 的出现标志着人工智能领域，特别是自然语言处理领域的重要里程碑。这些模型拥有庞大的知识库，能够生成连贯且符合语境的相关文本，对研究、工业和社会产生了巨大影响。然而，LLM 面临的一大挑战是“幻觉”问题，即模型生成看似合理但事实错误或毫无意义的信息。随着 LLM 应用广泛，这个问题引起了人们越来越多的安全和伦理方面担忧，并催生了大量试图对其进行分类、理解和缓解的研究。
先前研究从数据收集、训练到推理等方面发现了 LLM 产生幻觉的多种可能来源。例如，在综述论文中，作者将自然语言生成中的幻觉归因于启发式数据收集、固有偏差、表示学习缺陷、错误解码、暴露偏差和参数知识偏差。
为缓解幻觉，人们提出了多种方法。例如，事实中心度量和基准测试被用来衡量和减少特定数据集上的幻觉。检索式方法通过知识图或数据库来增强 LLM，帮助纠正模型输出中的事实错误。提示模型推理和验证其答案也被证明可以减少幻觉。
迄今为止，关于 LLM 幻觉的研究仍然主要是经验性的。尽管经验研究很有用，但它们无法回答一个根本性问题：幻觉是否可以完全消除？这个问题的答案至关重要，因为它表明了 LLM 能力的潜在上限。然而，由于不可能凭经验枚举和测试所有可能的输入，因此如果不清晰地定义和形式化地分析幻觉，就无法正式讨论这个问题。
在现实世界中，形式化地定义 LLM 的事实或逻辑错误(即幻觉)极其困难。这是因为现实世界中语义的正式定义仍然是一个悬而未决的问题。因此，在这项工作中，我们严格定义了一个由可计算函数组成的形式世界，可以在其中对幻觉进行精确的讨论。在这个世界里，每当 LLM 无法完全复制可计算函数的输出时，就会发生幻觉。在此定义下，我们提出了一个基本结论：任何可计算的 LLM 都不可避免地会出现幻觉，这与模型架构、学习算法、提示技术或训练数据无关。由于这个形式世界是现实世界的一部分，因此该结果也适用于现实世界中的 LLM。
基于理论结果，我们识别了一些现实世界中 LLM 可能出现幻觉的形式问题，并通过实证验证了这一识别。理论和实证结果引导我们讨论了它们对正确使用 LLM 的实际影响。
本文的贡献总结如下：
* 我们形式化地定义和讨论了 LLM 的幻觉，并利用学习理论的成果证明了幻觉对于 LLM 是不可避免的。
* 实证研究表明，最先进的 LLM 在一些现实世界问题中容易出现幻觉，这验证了理论结果。
* 我们讨论了理论结果对设计缓解幻觉的方法和部署 LLM 在现实世界中的实际影响。
结论
本文研究了消除 LLM 幻觉的根本性问题。为此，我们定义了一个形式世界，可以在其中清晰地定义和讨论 LLM 的幻觉。具体而言，幻觉被定义为可计算 LLM 和可计算的真实函数之间的不一致。利用学习理论的结果，我们证明了如果真实函数是任何可计算函数，那么对于可计算的 LLM 来说，幻觉是不可避免的。既然形式世界是现实世界的一部分，我们进一步得出结论，在现实世界的 LLM 中消除幻觉也是不可能的。利用形式世界框架，我们讨论了现有缓解幻觉方法的可能机制和有效性，并讨论了理论结果对 LLM 在现实世界中部署的实际影响。我们强调，由于幻觉不可避免，因此对 LLM 安全性进行严格研究至关重要。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
