NLP 的解码方法

通过自然语言处理（NLP），我们正在改变与机器互动的方式，使它们能够理解、解释和人性化人类的语言。许多NLP工作，尤其是在文本生成方面，一个核心的特点是将概率序列转换为连贯文本的过程。有各种各样的解码方法，每种方法都有其独特的优势和权衡。本文将探讨NLP中使用的一些常见解码技术。

不同的解码方法

1. 贪婪解码

贪婪解码是一种用于文本生成任务的简单方法，它在每一步都选择概率最高的单词。这种方法通过选择最有可能的下一个单词来迭代地构建序列，其决策是基于即时概率，而不是考虑未来的可能性。

示例

想象一个一次生成一个单词的语言模型。如果给定提示“The cat”，贪婪解码将检查所有可能的下一个单词的概率，并选择概率最高的单词，例如“is”。这个过程会重复进行，将单词“is”添加到序列中，依此类推，直到满足停止条件（例如，生成特定长度或遇到结束标记）。

贪婪解码的优点

• 简单快捷
  贪婪解码是最简单的解码形式，并且在计算上效率很高。由于它在每一步只考虑最高概率，与束搜索等更复杂的方法相比，它需要的计算量更少。
• 易于实现
  其简单性使得贪婪解码易于实现，通常在各种NLP任务中作为基线技术。
• 确定性输出
  给定相同的输入和模型状态，贪婪解码将始终产生相同的输出。这种确定性在需要一致性的应用程序中可能很有用。

贪婪解码的缺点

• 次优序列
  通过做出局部最优选择，贪婪解码通常无法找到全局最优序列。它不考虑当前选择如何影响未来可能性，可能导致文本不那么连贯或有意义。
• 缺乏多样性
  由于它总是选择概率最高的单词，贪婪解码缺乏变化性。这可能导致重复和可预测的输出，这对于需要多样化文本的创意任务来说并不理想。
• 忽略长期依赖
  贪婪解码不考虑文本的长期结构。决策是孤立做出的，这可能导致在较长序列中出现不一致和缺乏上下文理解。

实际用例

• 尽管存在局限性，但在速度和简便性至关重要的场景中，贪婪解码仍然很有用。它经常应用于实时应用程序，例如
• 聊天机器人：用于生成简短且一致的响应。
• 自动完成系统：需要快速、即时预测。
• 机器翻译：在速度优先于完美准确性的系统中。

2. 束搜索

束搜索是一种更复杂的解码方法，通过在每一步保留多个候选序列（称为束）来生成文本序列。与贪婪解码在每一步仅选择一个最高概率的单词不同，束搜索会跟踪一组固定数量的最有希望的序列，并同时探索它们。

工作原理

• 初始化：以一个只包含开始标记的初始束开始。
• 扩展：对于每个束，扩展所有可能的下一个单词，并计算每个扩展序列的概率。
• 剪枝：仅保留累积概率排名前 k 的序列（束）。
• 迭代：重复扩展和剪枝步骤，直到满足停止条件（例如，生成特定长度的序列或遇到结束标记）。

示例

假设以束宽度（k）为 3 生成文本。如果第一个单词是“The”，束搜索将考虑最有可能的 3 个续写，例如“cat”、“dog”和“bird”。对于这三个单词中的每一个，它将考虑最有可能的 3 个续写，从而产生 9 个序列进行评估。然后，根据它们的累积概率保留这 9 个序列中的前 3 个，并重复该过程。

束搜索的优点

• 质量提升
  通过探索多个候选序列，束搜索比贪婪解码更有可能找到全局最优序列，从而生成更连贯、更符合上下文的文本。
• 探索与利用的平衡
  束搜索有效地平衡了探索不同序列和利用高概率路径，降低了因局部最优而错过正确序列的风险。
• 确定性输出
  与贪婪解码一样，束搜索对于给定的束宽度和输入是确定性的，提供了一致且可重复的结果。

束搜索的缺点

• 计算复杂性
  束搜索比贪婪解码在计算上更密集。随着束宽度的增加，需要评估的序列数量呈指数级增长，需要更多的资源和时间。
• 固定的束宽度
  选择正确的束宽度至关重要。小的束宽度可能无法发现足够的可能性，而大的束宽度会增加计算成本，但不能保证输出质量的提高。
• 过拟合风险
  在某些情况下，束搜索可能导致搜索过度拟合具有略高概率的序列，可能错过更多样化或创新的输出。

实际用例

束搜索广泛应用于生成文本质量和连贯性至关重要的应用程序中

• 机器翻译：通过考虑多种可能的序列，产生更准确、语法更正确的翻译。
• 语音识别：通过比较识别出的单词的多种假设来提高准确性。
• 文本摘要：通过在多个候选句子之间进行平衡来生成连贯的摘要。

3. Top-k 采样

Top-k 采样是一种解码方法，用于通过在每一步仅考虑概率最高的 top-k 个单词来生成文本。与始终选择概率最高单词的贪婪解码不同，top-k 采样通过从 k 个单词的有限集合中随机选择来引入变化性。

工作原理

• 初始化：从一个初始序列或提示开始。
• 概率过滤：在每一步，从模型的输出中选择概率最高的 top-k 个单词。
• 随机采样：从这 top-k 个单词中随机选择一个单词，其概率与其原始概率成比例。
• 迭代：将选定的单词添加到序列中，并重复该过程，直到满足停止条件（例如，达到特定长度或遇到结束标记）。

示例

如果模型为序列中的下一个单词生成概率，top-k 采样将首先对这些概率进行排序，然后将选择限制在 top-k 个单词中。例如，如果 k=3，并且概率最高的单词是“dog”、“cat”和“bird”，那么下一个单词将从这 3 个单词中随机选择，其概率与其相对概率成比例。

Top-k 采样的优点

• 受控多样性
  通过将选择限制在 top-k 个单词中，该方法降低了选择高度不可能的单词的风险，同时仍然引入了变化性。与确定性方法相比，这有助于生成更多样化和有趣的文本。
• 改进连贯性
  将选择限制在最有可能的单词可确保生成的文本保持连贯性和上下文相关性，在随机性和结构之间取得平衡。
• 灵活性
  Top-k 采样允许对 k 参数进行平滑调整，从而根据应用程序的特定需求微调多样性和连贯性之间的权衡。

Top-k 采样的缺点

• 选择偏差
  生成文本的质量很大程度上取决于 k 的选择。小的 k 可能导致重复的文本，类似于贪婪解码，而大的 k 可能会引入过多的随机性，从而降低连贯性。
• 计算开销
  虽然不如束搜索在计算上密集，但 top-k 采样仍然需要对概率进行排序和管理随机选择，这与仅仅使用贪婪方法相比会增加一些开销。
• 缺乏长期规划
  与其他逐次解码技术一样，top-k 采样本身不考虑长期依赖关系或文本的整体结构，这可能导致在较长文本中出现连贯性较差的叙事。

实际用例

Top-k 采样尤其适用于需要多样性和质量都至关重要的应用程序

• 创意写作：有助于生成多样化且富有创意的文本，包括诗歌或小说，其中一定程度的随机性可以增强创造力。
• 对话系统：在聊天机器人和对话代理中生成更自然、更多样化的响应，使交互更具吸引力。
• 故事生成：通过避免重复和可预测的序列，能够创建多样化且引人入胜的故事情节。

4. 核心采样 (Top-p 采样)

核心采样是一种解码方法，它考虑一个动态大小的、累积概率超过阈值 p 的最有可能的单词集合。与 top-k 采样（其中考虑的单词数量是固定的）不同，核心采样会适应模型输出的概率分布，确保选择集既多样化又符合上下文。

工作原理

• 初始化：从一个初始序列或提示开始。
• 概率过滤：在每一步，按降序对所有可能下一个单词的概率进行排序，并累加它们，直到它们的总和超过阈值 p。
• 随机采样：从这个集合中随机选择下一个单词，其概率与其原始概率成比例。
• 迭代：将选定的单词添加到序列中，并重复该过程，直到满足停止条件（例如，生成特定长度的序列或遇到结束标记）。

示例

如果模型预测下一个单词的概率，核心采样将对这些概率进行排序，并将单词包含在候选集中，直到累积概率超过 p（例如，0.9）。如果最有可能的单词是“the”（0.4）、“cat”（0.3）和“sat”（0.2），它们的累积概率为 0.9，因此这些单词构成了从中采样下一个单词的核心。

核心采样的优点

• 自适应灵活性
  通过根据概率分布调整候选集的大小，核心采样比 top-k 采样等固定大小的方法更灵活、更具适应性。它动态地平衡了连贯性和多样性。
• 改进的连贯性和多样性
  该方法确保只考虑中等可能性的单词，从而保持连贯性，同时随机选择引入了多样性。这种平衡通常能产生高质量、多样化的文本生成。
• 受控的创造力
  阈值 p 可以进行调整，以控制多样化的程度。较低的 p 值会产生更保守的输出，而较高的 p 值会引入更多变化，从而可以根据应用程序的特定需求定制创造力水平。

核心采样的缺点

• 复杂度
  核心采样比贪婪解码或 top-k 采样等更简单的技术更复杂。它需要在每一步对概率进行排序和计算累积和，这会增加计算开销。
• 参数敏感性
  生成文本的质量对阈值 p 的选择很敏感。找到 p 的最佳值可能很困难，并且可能需要进行实验。
• 缺乏长期规划
  与其他逐次解码技术一样，核心采样侧重于即时可能性，而不考虑长期依赖性，这有时可能导致较长文本中的叙事不那么连贯。

实际用例

核心采样在文本质量和创造力之间取得平衡的应用程序中特别有效

• 创意写作：能够生成多样化且富有想象力的文本，例如故事或诗歌，其中受控的随机性可以增强创造力。
• 对话系统：在聊天机器人和对话代理中生成多样化且引人入胜的响应，使交互更自然、更具吸引力。
• 内容生成：适用于营销或社交媒体内容创建等应用程序，其中结合连贯性和新颖性很有益处。

5. 随机采样

随机采样是一种对话技术，其中下一个单词在链中是根据模型给出的概率分布随机选择的。与强制执行约束或选择备选候选者的方法不同，随机采样拥抱所有可能性，从而实现最大的多样性和创造力。

工作原理

• 初始化：初始化一个基本序列或符号。
• 基于概率的选择：在每个类别中从整个单词顺序中选择下一个句子，其中每个句子的概率与模型预测的概率匹配。
• 重复：将选定的单词添加到序列中，并重复该过程，直到满足停止条件（例如，生成特定长度的序列或遇到结束标记）。

例如

如果定义生成了下一个句子单词的概率分布，随机采样将完全根据这些概率选择一个单词。例如，如果概率是“the”（0.3）、“cat”（0.25）、“sat”（0.15）等，那么每个单词将按顺序根据其权重选择，从而可以从任何句子中进行选择。

随机采样的优点

• 最大多样性
  通过利用完整的概率分布，随机采样会产生新颖且未被发现的课程。此方法非常适合需要新颖性和不确定性的估算。
• 简单
  引入随机采样非常简单。它利用模型的生成可能性，而无需任何新的估计或即时约束。
• 搜索能力
  此方法在分析语言模型的整体潜力方面独一无二，并揭示了模型可以生成的各种表现形式。

随机采样的缺点

• 不连贯
  缺乏约束可能导致文本不连贯或无意义。由于每个单词都是基于机会独立选择的，因此生成的序列可能缺乏逻辑流程和结构。
• 质量可变性
  虽然随机采样可以产生创新的输出，但它通常会导致质量高度可变。一些序列可能有趣且新颖，而另一些则可能不合适或令人困惑。
• 不适用于特定应用
  对于需要高连贯性和一致性的应用程序，例如机器翻译或正式写作，随机采样由于其不可预测的性质通常不合适。

实际用例

随机采样仅适用于优先考虑创造力和多样性而非连贯性和精确性的场景

• 创意写作：非常适合生成诗歌、小说或其他类型的创意写作，其中重视意外的组合和富有想象力的表达。
• 头脑风暴工具：在生成各种想法或原则方面很有用，为人类提炼提供了广泛的可能性。
• 娱乐应用程序：可用于视频游戏或互动叙事，其中意外和多样的输出可增强用户参与度。