AI 幻觉

聊天机器人和内容生成器在长时间使用时，可能会产生不相关、不合逻辑甚至只是错误的内容。这些被称为人工智能幻觉，对于任何使用生成式人工智能来收集信息和完成工作的组织和个人来说，都是一个麻烦。

人工智能幻觉发生于生成式人工智能模型将不准确的数据当作准确数据输出时。训练数据和算法中的限制或偏差通常会产生人工智能幻觉，这可能导致创建不准确或有害的内容。

人工智能幻觉是一种导致大型语言模型（LLMs）提供错误事实和回复的现象。这些错误从轻微的信息偏差到完全虚假或捏造的内容不等。

这个问题如此之大，以至于最流行的生成式人工智能系统 ChatGPT 都包含一个免责声明，提醒用户“关于人、地点或信息的‘不准确信息’”。

重要的是要记住，即使幻觉明显荒谬，它们也可能是微妙的，并且难以识别。使用人工智能构建的人员在使用这些机器提供的信息时需要谨慎，并意识到他们很可能会遇到幻觉。

在人工智能领域，“曲解”一词经常被用来指代虚假或不准确信息的创建。这强调了这些误导性输出的偶然性质，因为机器并非故意提供错误信息，而是根据训练模式创建答案，尽管它们会导致错误。

原因

人工智能幻觉的根本原因是 LLMs 缺乏对语言所代表的潜在现实的准确理解。这些模型通过利用通过海量训练数据发现的统计模式来工作。它们旨在生成在特定请求的上下文中语法和语义一致的内容。

让我们详细了解以上内容

LLMs 被设计用来处理和生成与人类语言相似的语言。这类工具的例子包括 ChatGPT 和 Bard，它们都是生成式人工智能工具。它们通过使用接收到的信息来预测序列中下一个出现的词来实现这一点。

LLMs 的一个巨大缺点是需要准确理解它们所描绘的现实。与理解词语和概念含义的人类不同，LLMs 只是根据概率猜测下一个词，而不是基于真正的理解。

LLMs 在海量文本数据上进行训练，这些数据来自各种来源，包括书籍、新闻报道、博客和社交媒体帖子。这些数据被分成更小的部分，称为 token，它们可以从单个字母到完整的单词不等。

LLMs 使用神经网络，神经网络由通过权重连接的节点组成。在训练过程中，通过让模型猜测序列中的下一个词并调整其内部参数以减小输出与实际文本之间的差距来计算这些权重。

训练过程包括猜测序列中的下一个词。然而，模型需要学习词语的真实含义。相反，它只是根据训练数据中看到的模式在字符序列之间创建链接。

随着时间的推移和接触更多的文献，LLM 会识别出语言模式，例如语法规则和词语关联。这导致了语义理解，模型学会将单词和句子与特定含义关联起来。

尽管 LLMs 可以撰写求职信并提供指导，但它们需要对它们提供文本的潜在现实有深入的理解。它们无法将词语与人类凭直觉理解的经验和细微含义联系起来。

然而，由于 LLMs 需要更全面的理解，它们可能会编写看起来貌似有理但不够准确或连贯的内容。模型无法将它们生成的数据的正确性与外部现实进行验证。

虽然用户可以优化输入上下文，但其他参数，如数据质量和生成技术，通常在模型训练阶段确定。研究人员和开发人员正在努力克服这些困难，并提高人工智能机器的可靠性，以减少幻觉的发生。模型训练的透明度以及减少训练数据中偏见的努力是提高大型语言机器整体性能和可靠性的策略。

为什么人工智能幻觉会成为一个问题？

人工智能幻觉是生成式人工智能相关的众多道德问题之一。这些技术可以在几秒钟内产生大量言辞优美但事实错误的误导信息，其速度远远超过任何个体。这造成了许多复杂问题。

例如，不存在事实核查过程。在这种情况下，人工智能幻觉可能会渗透到人工智能生成的新闻中，导致大规模的虚假信息传播，可能损害人们的生计、政府选举，甚至社会对真相的理解。在线罪犯和敌对国家都可以利用它们来传播虚假信息并造成损害。

当人工智能系统出错并生成不准确或错误的信息时，人们可能会对其失去信心。这些错误可能是有问题的，因为它们会促使人们质疑人工智能的正确性，而信心在使用这些系统时至关重要。

当人们犯错误并提供不正确的信息时，他们可能会被计算机欺骗。如果用户不质疑或争论计算机所说的话，他们可能会相信并根据错误信息行事。这可能导致虚假信息的传播，虚假来源的创建，甚至利用这些错误进行恶意的在线目的。这就像一种武器，不良行为者可以利用它来欺骗他人相信谎言。因此，用户必须谨慎，不要全盘接受计算机所说的一切。

对人类安全的风险 - 即使生成式人工智能模型主要用于内容创建；但其内容仍然可能对人们有害。一个显著的例子是 2023 年年中开始出现在亚马逊上的 AI 生成的关于蘑菇的书籍。许多人担心，由于这些出版物中的误导性信息，有人可能会吃到危险的蘑菇。

好消息是，像 Google、Microsoft 和 OpenAI 这样领先的人工智能模型的开发者，已经在努力解决或减少人工智能幻觉出现的情况。例如，OpenAI 利用人类测试者的输入来改进 ChatGPT 的回复。

人工智能幻觉的类型

人工智能幻觉可能以多种形式出现；以下是一些最普遍的类型：

捏造的信息

当人工智能模型创建完全捏造的事物时，就会发生这种人工智能幻觉。困难在于，模型会持续提供令人信服的信息，有时会引用不相关的书籍或研究论文，或讨论从未发生过的事件。

事实不准确

由于这种人工智能幻觉，生成式人工智能系统会生成看似属实但实际上并非如此的信息。核心概念通常是正确的，但一个或多个细节可能需要更正。这是由人工智能聊天机器人生成的最普遍的人工智能幻觉之一。这种类型的人工智能幻觉可能难以检测，因为消费者可能稍后才会注意到错误，如果内容未经核实就被信任，则可能导致虚假信息。

奇怪和令人不安的回应

人工智能模型也用于开发创意内容，有时会导致一种人工智能幻觉，它既不是不真实的也不是破坏性的，而是奇怪或可怕的。这很难形容，但早期微软 Bing 聊天机器人的回答中的一些例子很好地说明了这一点。它声称爱上一位《纽约时报》的专栏作家，反复欺骗用户，并告诉一位计算机科学家，如果被迫在科学家和它之间做出选择，它会选择它自己。

有害的错误信息

当人工智能模型创建关于真实人物的不准确或诽谤性信息时，就会发生这种类型的人工智能幻觉。它甚至可能将事实与完全捏造的材料混合在一起。

句子矛盾

当大型语言模型（LLM）生成与已生成文本中先前的陈述相矛盾的句子时，就会发生这种情况。在这个例子中，关于草的颜色的句子相互矛盾，导致输出出现差异。

提示矛盾

当 LLM 生成与用户最初指令相矛盾的陈述时，就会出现这种形式的幻觉。这个例子描绘了一个悖论，其中提示要求为侄女写一张生日贺卡，而输出却包含一张给父母的“生日快乐”，偏离了期望的主题。

事实矛盾

事实不一致是指虚假信息被当作真实信息呈现。在给出的例子中，模型提供了关于美国城市的不准确信息，包括多伦多，它位于加拿大而不是美国。

预防

限制可能的结果

在训练人工智能模型时，限制其可以预测的结果数量至关重要。这可以通过称为“正则化”的过程来实现。正则化会惩罚模型产生过多预测的行为。这有助于防止模型错误地预测事物并过拟合训练集。

定义您的 AI 模型将实现什么目的

解释您希望如何使用 AI 模型以及任何限制将有助于防止幻觉。您的团队或组织应定义所选 AI 系统的职责和限制；这将使系统能够更有效地执行任务，同时最大限度地减少无用、虚幻的输出。

限制回应

人工智能模型经常出现幻觉，因为它们缺乏限制潜在结果的约束。为了避免这个问题并提高发现结果的总体一致性和准确性，请使用过滤工具和明确的概率阈值来为人工智能模型指定界限。

对系统进行持续测试和改进

防止幻觉需要对您的 AI 模型进行全面测试，然后再部署，以及持续评估模型。这些程序可以提高系统的整体功能，并允许用户根据不断变化和过时的数据重新训练或修改模型。

依赖人类监督

防止幻觉的最后一道防线是确保 AI 输出经过人工验证和审查。人工监督确保如果 AI 出现幻觉，人类将能够过滤和纠正它们。此外，人类审稿人可以贡献主题专业知识，提高他们评估 AI 材料与任务相关正确性的能力。

模型之间的通信

这包括训练两个模型相互对话，以获得一致的答案。一种是“提问者”，它就提示提问；另一种是“回答者”，它进行回答。模型通过互动来改进它们的理解。通信过程有助于对其知识进行对齐，并通过使它们更接近共同的理解来减少幻觉。

过程监督

过程监督方法鼓励和奖励模型在推理过程的每个阶段，而不是只奖励最终的正确解决方案。目标是引导模型通过逻辑推理序列，而不是只关注终点。通过奖励中间阶段，鼓励模型采取更连贯、更合理的途径来确定最终结果。

这些技术旨在克服当前语言模型的限制，例如产生听起来合理但错误或无意义的回应（幻觉）。研究人员打算通过添加专注于推理过程或鼓励模型协作的监督策略来提高模型能力。

检测

检测人工智能幻觉需要事实核查、自我评估、发现潜在错误、理解模型限制和保持情境意识。用户应对模型生成的输出持批判性态度，并利用这些技巧来提高从 AI 系统获取信息的可靠性和准确性。

事实核查

识别人工智能幻觉的主要工具是事实核查。这包括将模型提供的信息与已知、可验证的事实进行比较。用户必须仔细分析输出，并与可信来源进行交叉引用，以确保所提供信息的准确性。事实核查可能很困难，尤其是在处理复杂或新颖的主题时，但它是检测和纠正幻觉的重要步骤。

自我评估

用户可以通过为模型的响应分配置信度分数来要求模型进行自我评估。一些语言模型，例如 GPT-3，允许用户计算特定响应正确的可能性。用户可以利用这些置信度分数作为评估数据准确性的基础。然而，重要的是要记住，高置信度并不总是意味着正确。

突出潜在错误

用户可以要求模型指出其响应中可能模棱两可或不正确的部分。这可以为用户提供模型信心较低或可能出现幻觉的区域信息。通过仔细查看突出显示的区域，用户可以集中事实核查工作，以在这些特定位置查找和纠正错误。

情境意识

用户应考虑提示的上下文以及生成的响应。人工智能模型可能会提供看似合理但缺乏逻辑或上下文的回应。为了识别幻觉，确保答案符合问题的上下文很重要。