共形预测

引言

一种量化机器学习中不确定性的方法——机器学习中的一致性预测 (CP)，为预测提供可靠的置信度指标。与传统的概率技术相比，CP 利用构建的预测集或区间来保证一定程度的置信度，从而在低假设下保持鲁棒性。

CP 的基本原理是使用不一致性度量来评估新数据点与先前观测值的一致性程度。CP 不创建单点预测，而是利用历史数据创建预测区域，从而增加实际结果落在预测集中的可能性。因此，CP 在理解不确定性至关重要的应用（如医疗保健、银行业和自主系统）中特别有用。

CP 技术可用于解决回归和分类问题。对于分类问题，它会生成一个潜在标签列表以及相应的置信度。对于回归问题，它会创建预测区间而不是点估计。CP 的变体包括可转导一致性预测 (TCP)，它逐一评估每个新预测；以及归纳一致性预测 (ICP)，它提高了计算效率。

CP 的一项基本优势是其分布无关性，这意味着它不对底层数据的分布做出任何特定假设。因此，它是提高实际应用中人工智能模型可靠性的有用工具。

一致性预测的基本原理

• 不一致性度量
  不一致性度量用于衡量新数据点与先前观测值之间的偏差程度。它是一个根据每个样本与训练集的拟合程度对其进行评分的函数。使用的度量取决于学习模型和任务类型（分类或回归）。
• 可交换性假设
  一致性预测的基础是可交换性概念，该概念表明数据点的分布与其顺序无关。由于此假设比 i.i.d.（独立同分布）更弱，因此 CP 具有广泛的适用性。
• P 值和一致性分数
  基于先前的训练数据，为每个测试样本分配一个一致性分数——一个衡量不一致性的指标。然后使用 p 值根据学习模型计算每个可能结果的概率。所有 p 值超过特定置信度的结果都包含在预测集中。
• 置信度和预测集
  与提供点估计的传统统计模型相比，CP 创建具有特定置信度（例如 95%）的预测区域或潜在输出集合。这些集合保证，在给定概率下，实际标签或值落入其中。
• 适应性和校准
  通过使用历史数据进行校准，一致性预测可以动态适应不同的数据集。它只需要一个校准集即可保证准确的置信度；无需重新训练底层模型。

一致性预测方法类型

• TCP，即可转导一致性预测
  是 CP 中最严格、最原始的模型。它通过临时将每个测试样本添加到数据集中并计算不一致性分数来单独评估每个测试样本。然后，使用测试分数相对于历史观测值的极端性来计算潜在预测的 p 值。此方法计算成本高昂，因为它需要为每个新测试用例重新计算不一致性分数，尽管它提供了精确的有效性保证。因此，TCP 对于实时应用程序或大型数据集来说是不可行的。
• ICP，即归纳一致性预测
  将数据集分为训练集和校准集，以提高效率。一部分数据用于训练模型，而其余的校准集用于计算不一致性分数。由于无需为每个新测试用例重新计算分数，校准集保持不变，从而降低了计算成本。但是，ICP 需要为校准预留数据，这可能会显着降低模型性能和有效的训练时长。
• 分裂一致性预测
  是 ICP 的一种精简形式，其中数据集仅被分割为训练集和校准集一次，没有任何额外的更新。由于此方法非常快速且易于实现，因此非常适合实时应用程序。然而，由于分割是固定的，它不像 ICP 那样具有动态改进预测区间的灵活性。由于这种权衡，当速度比灵活性更重要时，这是一个更好的选择。
• 交叉一致性预测和自适应预测
  是旨在提高性能和鲁棒性的高级变体。自适应 CP 根据模型性能或不同的数据子集动态调整不一致性度量。交叉一致性预测 (CCP) 使用交叉验证来增强校准，减少偏差并提高鲁棒性。尽管这些方法可能比更简单的策略计算成本更高，但它们提高了 CP 的功效，尤其是在复杂现实世界的数据集中。
• 一致性分位数回归
  是 CP 在回归问题中的一种特殊应用，它产生预测区间而不是单点估计。对于需要量化不确定性的应用，例如财务预测或医学诊断，这将非常有用。尽管有用，但其准确性取决于分位数回归模型的使用效果。

一致性预测的操作

• 模型训练
  CP 的第一步是使用一组标记样本训练传统的机器学习模型。然后使用该模型进行预测，但 CP 提供了一种量化这些预测不确定性的方法，而不是依赖于单点估计。
• 计算不一致性分数
  在训练模型后，CP 会评估新测试样本与已确定数据之间的“异常”程度。为此使用不一致性度量，根据每个实例相对于训练数据看起来有多“异常”来为其分配分数。该分数可以反映模型对某个标签的不确定程度。对于回归，它还可以计算预测值和实际值之间的差异。
• 使用历史数据进行校准
  校准是 CP 的一个重要方面，它使用先前的预测来估计未来预测中可以预期的方差量。使用单独的校准集（来自原始数据集的一个子集）计算已知结果的不一致性分数。这些分数充当了比较新预测准确性的基准。
• 计算测试预测 P 值
  CP 为测试样本的每个潜在预测确定一个 P 值，该 P 值表示新样本与历史数据的符合程度。通过将测试样本的不一致性分数与校准集中的分数进行比较来计算 P 值。低 P 值表示更异常的样本，而高 P 值表示测试样本与历史数据一致。
• 生成区间或预测集
  CP 根据计算出的 P 值，为回归生成预测区间（一系列值而不是单个预测），或为分类生成预测集（例如，包含多个潜在标签）。在给定的置信度（例如 95%）下，这些集合确保实际结果落在其中。
• 生成可靠的预测
  最终的预测不是单点估计，而是一系列潜在值。这意味着分类可以接受多个标签，而在回归中，则提供一个范围来解释不确定性。这些预测有助于做出可靠且可理解的决策，特别是在银行和医疗保健等高风险领域。

一致性预测的应用

• 医学诊断和医疗保健
  CP 通过确保预测伴随对医疗决策的置信度保证，降低了误诊的可能性。它确保实际诊断极有可能落在预测集内，并用于疾病分类、药物成像和患者结局预测。例如，CP 可以为患者的症状提供一系列潜在诊断，或为血压预测提供预测范围，从而使医生能够做出更好的决策。
• 金融和风险管理
  由于金融模型经常处理高度不确定性，CP 是欺诈检测、信用风险评估和股票价格预测的宝贵工具。CP 通过为股票价格生成预测区间，帮助投资者评估市场风险。通过为贷款申请人违约风险提供一定的确定性，CP 增强了信用风险评估中的风险管理策略。
• 机器人和自主系统
  CP 用于量化机器人和自主车辆中的导航和决策不确定性。例如，自动驾驶汽车的感知系统可以使用 CP 来评估其识别障碍物或行人的置信度。这有助于做出更稳定、更公平的决策，从而降低事故发生的可能性。
• 网络安全和异常检测
  CP 在识别系统异常、网络安全威胁和欺诈方面表现出色。通过使用 CP 统计上可靠地区分实时行为和历史数据之间的差异，安全系统可以检测到异常活动，例如可疑交易或网络入侵。这极大地受益于安全的身份验证方法和在线银行。

一致性预测的优点和缺点

一致性预测的优点

• 无分布保证
  CP 不对底层数据分布做任何预测，这是其最大的优点之一。即使在数据分布复杂或未知的情况下，CP 也能保证可靠的置信度度量，与依赖强统计假设的传统概率模型相比。
• 合理的置信度
  CP 提供区间或预测集，保证一定的置信度（例如 95%）。这意味着 CP 在估计不确定性方面非常公平，因为实际结果最终会以给定概率落在预测区域内。
• 可适应任何机器学习模型
  任何监督学习算法，包括支持向量机、决策树和深度学习，都可以使用 CP。由于其灵活性，它可以集成到各种机器学习管道中，而无需更改基础模型。
• 适用于回归和分类
  CP 具有很强的适应性，可用于多种问题，因为它可用于分类（生成一组潜在标签）和回归（提供预测区间）。

一致性预测的缺点

• 计算成本
  某些 CP 类型，尤其是可转导一致性预测 (TCP)，计算成本高昂，因为每个新预测都需要重新评估整个数据集。对于实时或大规模应用程序，这可能不可行。
• 不一致性度量依赖性
  不一致性度量选择的性能对 CP 的性能有很大影响，因为它决定了该方法评估不确定性的能力。选择不当的度量会导致预测集过大或过小，从而降低 CP 的价值。
• 由于校准集分割导致的效率损失
  归纳一致性预测 (ICP) 提高了效率，但它需要将数据分割为训练集和校准集。由于有效训练时长的减少，模型预测的准确性可能会受到影响。
• 不确定性高的情况下预测集较大
  为了保持有效性，当底层模型模糊或数据嘈杂时，CP 通常会扩展预测集和区间。因此，在处理极具挑战性或不确定的任务时，预测可能不太有用。