AI 幻觉

常见问题

AI 幻觉与普通错误有什么区别？

AI 幻觉与普通错误的不同之处在于，模型以高度自信生成信息，尽管这些信息完全是虚假或捏造的。普通错误可能涉及轻微的不准确或误解，而幻觉则涉及完全不存在的事实、引用或数据的创造。关键区别在于，幻觉被呈现为真实且看似合理，这使得它们在专业和学术环境中尤其危险，因为用户可能在没有验证的情况下信任这些输出。

为什么大语言模型会产生幻觉？

大语言模型产生幻觉是因为它们基于训练数据中的统计模式预测下一个词，而非访问知识库或验证事实。当训练数据稀疏、不一致，或者模型在不确定时被强制提供答案时，它就会用听起来合理但虚假的信息来填补空白。此外，模型被训练生成流畅、连贯的文本，这有时意味着为了维持叙述的一致性而编造细节，而不是承认不确定性。

不同模型的 AI 幻觉发生率有多高？

幻觉发生率因模型和用例而异。研究表明，GPT-3.5 的幻觉发生率约为 39.6%，GPT-4 约为 28.6%，Google 的 Bard 在系统综述任务中高达 91.4%。在法律信息场景中，顶级模型的幻觉发生率平均为 6.4%，但所有模型合计可达 18.7%。医疗健康领域的应用约为 4.3%，而较新的 AI 系统在某些基准测试中幻觉发生率高达 79%。

AI 幻觉的常见类型有哪些？

常见的幻觉类型包括：捏造的引用和参考文献（编造虚假的学术论文或来源）、虚构的统计数据和数据点、关于真实人物的虚假传记信息、不存在的产品特性或功能，以及歪曲原始资料的误导性摘要。其他类型还包括自信呈现的计算错误、虚构的历史事件以及编造的公司政策或流程。这些幻觉之所以特别危险，是因为它们以与准确信息相同的自信程度呈现出来。

组织如何在系统中检测 AI 幻觉？

检测方法包括：实施结合人工审核的事实核查层，使用大语言模型即评判官（LLM-as-a-judge）评估框架验证输出，将 AI 生成的内容与可信数据源进行比对，以及监控不一致或不可信的断言。组织还可以使用检索增强生成（RAG）系统将输出建立在经过验证的数据之上，实施对抗性测试以识别失效模式，并建立持续监控系统以跟踪生产环境中的幻觉发生率。

什么是检索增强生成（RAG），它如何减少幻觉？

RAG 是一种在生成响应之前将大语言模型输出建立在可信、经过验证的数据源之上的技术。RAG 系统不依赖于训练数据模式，而是从知识库或文档库中检索相关信息，并将其作为响应的上下文。这大大减少了幻觉，因为模型被约束在提供的来源中实际存在的信息之内，使得编造事实变得更加困难。RAG 在客户支持和医疗信息系统等特定领域应用中尤其有效。

AI 幻觉有哪些商业和法律影响？

AI 幻觉可能导致严重的法律责任，例如加拿大航空的聊天机器人提供虚假票价政策，导致仲裁庭对航空公司作出不利裁决。幻觉会损害品牌声誉、削弱客户信任，并可能因赔偿要求和市场价值下跌导致财务损失。在法律和医学等专业领域，幻觉可能造成严重伤害。各组织对其平台上 AI 生成的内容承担的责任日益增加，无论这些内容是人工生成还是 AI 生成的。