大模型幻觉缓解策略详解

内容整理自学习笔记，仅供面试备考参考；不构成录用、培训或考试承诺。

1. 为什么会出现大模型幻觉？

1.1 训练数据中存在矛盾或错误表述

大模型幻觉出现的主要原因之一是训练数据中存在矛盾或者错误的表述问题。

• 训练数据大多来自互联网（新闻、文章、书籍、网站等）
• 互联网信息并非都经过审核，不可避免包含不准确信息
• LLM 基于 next token prediction 方式预训练，只能保证文本流畅性，无法辨别信息真实性
• 如果训练数据包含矛盾或错误表述，LLM 会学习这些错误表达，导致幻觉产生

1.2 训练数据中存在偏见表述

偏见类型	影响
社会偏见	模型学会偏见，生成包含错误或偏见的信息
文化信仰	影响输出的客观性和中立性
个人观点	可能导致模型输出偏向特定立场

1.3 LLMs 学习到知识缺乏外部验证

• 大模型在训练过程中获得大量内部知识，但缺乏实时访问最新信息的能力
• 无法根据外部参考验证事实，不能辨别信息是准确的还是虚构的
• 生成过程中缺乏事实核查机制，可以生成听起来合理但无事实依据的文本

提示：LLM 幻觉的原因在于训练数据、文本中存在的偏见以及 LLM 的固有局限性。不能太相信 LLM。

2. 如何缓解大模型幻觉？

要克服 LLM 幻觉需要从多个方面综合考虑，包括训练层面和用户层面。

2.1 方法一：提高训练数据质量

策略	说明
剔除不准确数据	移除有偏见、有错误的数据
纳入可靠来源	使用经过事实审查的数据来源
增加数据多样性	覆盖更广泛的知识领域

训练数据量越大（广度和数量都要考虑），最终训练得到的 LLM 出现幻觉的可能性就越小。

2.2 方法二：使用合适的训练算法

在训练阶段融入有助于生成与事实一致文本的策略，从训练层面降低幻觉产生的概率。

2.3 方法三：事实核查和验证机制

在推理阶段进行事实审查或验证：

推理时验证流程:
  1. 生成过程中进行判断
  2. 交叉引用外部信息源
  3. 确保输出准确性

2.4 方法四：外部知识集成

知识来源	作用
结构化数据	提供准确的事实信息
知识图谱	增强模型对事实关系的理解
垂直领域知识库	提高专业领域的准确性

将外部知识集成到训练/推理过程中，可以增强模型对事实信息的理解，提高生成可靠文本的能力。

2.5 方法五：Human-in-the-Loop

通过在训练和测试阶段融入人类反馈，纠正和完善模型输出：

阶段	方法
训练阶段	RLHF（人类反馈强化学习）
推理阶段	交互式推理方式，将人类反馈融入其中

2.6 方法六：偏见缓解

• 数据预处理：在数据层面减少偏见
• 定期评估：监控模型输出的偏见
• 推理优化：通过技术手段减少推理过程中出现的偏见

2.7 方法七：用户教育和批判性思维

重要提示：LLM 的幻觉可以缓解，但难以根除。用户应具备批判性思维：

• 不能完全依赖 LLM 的输出
• 通过交叉引用信息验证
• 多个来源信息综合考虑

3. 缓解策略总览

策略	层面	效果
提高训练数据质量	数据/训练	从源头减少错误知识
使用合适训练算法	训练	降低幻觉产生概率
事实核查和验证	推理	实时检测和纠正
外部知识集成	训练/推理	增强事实准确性
Human-in-the-Loop	训练/推理	人类反馈纠正
偏见缓解	数据/推理	减少偏见性输出
用户教育	用户	降低幻觉危害影响

4. 总结

缓解 LLM 幻觉需要从多个维度进行努力：

• 训练层面：提高数据质量、优化训练算法、集成外部知识
• 推理层面：事实核查、偏见缓解、人机协作
• 用户层面：培养批判性思维，交叉验证信息

通过解决训练数据、偏见和 LLM 固有局限性等基本因素，可以努力提高 LLM 的准确性和可靠性，尽量保证生成信息不仅连贯，而且准确。