本文是LLM系列文章，针对《A Survey of Hallucination in “Large” Foundation Models》的翻译。

摘要

基础模型中的幻觉是指产生偏离事实现实或包含捏造信息的内容。这篇调查论文对最近旨在识别、阐明和解决幻觉问题的努力进行了广泛的概述，特别关注“大型”基础模型（LFM）。本文对LFM特有的各种类型的幻觉现象进行了分类，并建立了评估幻觉程度的评估标准。它还研究了减轻LFM幻觉的现有策略，并讨论了该领域未来研究的潜在方向。从本质上讲，本文对LFM中与幻觉相关的挑战和解决方案进行了全面的研究。

1 引言

2 大语言模型中的幻觉

3 大图像模型中的幻觉

4 大视频模型中的幻觉

5 大音频模型中的幻觉

6 幻觉不总是有害的：不同的视角

7 结论和未来方向

我们简要地对LFM中幻觉领域的现有研究进行了分类。我们对这些LFM进行了深入分析，包括关键方面，包括1.检测，2.缓解措施，3.任务，4.数据集和5.评估指标。
下面给出了解决LFM中幻觉挑战的一些可能的未来方向。

7.1幻觉的自动评估

在自然语言处理和机器学习的背景下，幻觉是指人工智能模型产生不正确或捏造的信息。这可能是一个重大问题，尤其是在文本生成等应用程序中，其目标是提供准确可靠的信息。以下是幻觉自动评估的一些潜在未来方向：
评估指标的开发：研究人员可以创建专门的评估指标，能够检测生成内容中的幻觉。这些指标可能会考虑事实准确性、连贯性和一致性等因素。可以对高级机器学习模型进行训练，以根据这些指标评估生成的文本。
人工智能协作：将人类判断与自动化评估系统相结合可能是一个很有前途的方向。众包平台可以用来收集人工智能生成内容的人工评估，然后可以用来训练自动评估的模型。这种混合方法可以帮助捕捉仅对自动化系统具有挑战性的细微差别。
对抗性测试：研究人员可以开发对抗性测试方法，将人工智能系统暴露在专门设计的用于触发幻觉的输入中。这有助于识别人工智能模型的弱点，并提高其对幻觉的鲁棒性。
微调策略：微调预训练的语言模型以减少幻觉是另一个潜在的方向。模型可以在强调事实核查和准确性的数据集上进行微调，以鼓励生成更可靠的内容。

7.2 利用控制的知识来源改进检测和缓解策略

在人工智能生成的文本中检测和缓解偏见、错误信息和低质量内容等问题对于负责任的人工智能开发至关重要。策划的知识来源可以在实现这一目标方面发挥重要作用。以下是一些未来的发展方向：
知识图谱集成：将知识图谱和精心策划的知识库纳入人工智能模型可以增强他们对事实信息和概念之间关系的理解。这有助于内容生成和事实核查。
事实核查和验证模型：开发专注于事实核查和内容验证的专门模型。这些模型可以使用精心策划的知识来源来交叉引用生成的内容，并识别不准确或不一致之处。
偏见检测和缓解：控制的知识来源可用于训练人工智能模型，以识别和减少生成内容中的偏见。人工智能系统可以被编程来检查内容是否存在潜在的偏见，并提出更平衡的替代方案。
主动学习：通过主动学习不断更新和完善策划的知识来源。人工智能系统可以被设计为寻求人类对模糊或新信息的输入和验证，从而提高策划知识的质量。
道德准则和监管：未来的方向还可能涉及开发在人工智能开发中使用策划的知识源的道德准则和管理框架。这可以确保负责任和透明地使用精心策划的知识来减轻潜在风险。
总之，这些未来的方向旨在解决幻觉检测和缓解的挑战，以及负责任地使用策划的知识来提高人工智能生成内容的质量和可靠性。它们涉及先进的机器学习技术、人类人工智能协作和道德考虑的结合，以确保人工智能系统产生准确可靠的信息。