OpenAI科学家翁荔揭示大模型“外在幻觉”现象及应对策略

关键字：大型语言模型（LLM） 外在幻觉 预训练数据集 微调 检索增强评估 间接查询 校准未知知识 RAG RARR 归因 事实性

        在人工智能领域，大型语言模型（LLM）的推理和生成能力一直是研究的热点。然而，这些模型在生成内容时可能会出现与现实不符的“幻觉”现象。最近，OpenAI的华人科学家翁荔在其最新博客中提出了LLM的“外在幻觉”（extrinsic hallucination）问题，并深入探讨了其产生的原因和应对方法。

    外在幻觉是指模型输出的内容虽然是虚构的，但却不基于所提供的上下文或世界知识。这种现象与内在幻觉（模型输出与上下文不一致）不同，外在幻觉更关注模型生成内容的事实性和可验证性。翁荔指出，当模型不了解某个事实时，它应该明确表示不知道，而不是生成错误的信息。

翁荔的研究从预训练和微调两个阶段分析了幻觉现象的成因。她指出，预训练数据集的庞大体量和来源的多样性可能导致模型学习到过时或错误的信息。而在微调阶段，通过监督微调和人类反馈强化学习（RLHF）引入的新知识可能会增加模型产生幻觉的倾向。

为了检测和抵抗幻觉，翁荔提出了多种方法，包括但不限于：

1. 检索增强评估：使用FactualityPrompt等基准数据集，通过事实性和非事实性的提示来量化模型的幻觉现象。

2. 间接查询：通过一致性检查来识别事实性错误，如SelfCheckGPT方法。

3. 校准未知知识：让模型在面对无法回答的问题时生成真实回应，如TruthfulQA和SelfAware基准测试。

4. 基于采样的检测：如Inference-Time Intervention（ITI），通过调整激活来区分真实与虚假的输出。

5. 针对事实性的微调：如FLAME方法，通过事实性奖励信号来训练模型。

翁荔还强调了模型在生成依赖于搜索结果的内容时，赋予归因的重要性。她提到了WebGPT和GopherCite等项目，这些项目通过与互联网搜索交互，训练模型提供准确的事实性回答。

此外，翁荔提出了一系列提升LLM响应真实性的方法，包括从外部知识库检索、特殊的采样方法、对齐微调等。她特别提到了RAG（检索增强生成）和RARR（Retrofit Attribution using Research and Revision）等框架，这些框架通过编辑归因使LLM能够追溯地支持对外部证据的归因。

主要技术点：

1. 外在幻觉：模型输出内容与现实不符，不基于上下文或世界知识。

2. 成因分析：从预训练和微调两个阶段探讨幻觉现象的产生。

3. 检测方法：包括检索增强评估、间接查询、校准未知知识等。

4. 抵抗幻觉：提出多种提升LLM响应真实性的方法，如RAG、RARR等。

5. 归因重要性：强调在生成内容时赋予归因，提高事实性。

翁荔的研究不仅为理解LLM的幻觉现象提供了深入的分析，也为未来的模型设计和训练提供了宝贵的指导。她的工作强调了在设计AI系统时，需要更加关注模型的透明度、可解释性和事实性，以确保它们在实际应用中的可靠性和有效性。