交叉验证中的分组

引言

交叉验证（Cross-validation）是一种用于评估系统研究模型一般性能的统计方法，它衡量模型在多大程度上可以泛化到新数据。它包括将数据集划分为多个子集，一个用于模型训练，其余用于评估一般性能。通过这种迭代方法，每个数据点都有平等的机会被包含在训练和测试集中，从而提供全面的评估。

K折交叉验证（K-Fold Cross-Validation）是最常用的技术，其中数据被分成 K 个相等的子集，或称为“折”。该过程重复执行 K 次，使用 K-1 折进行模型训练，并使用剩余的折进行测试。所有迭代的最终偏差作为最终的一般性能指标，从而降低了随机分割引入偏差的可能性。

在处理有限数据或避免过拟合（模型在训练数据上表现良好，但在新数据上表现糟糕的情况）时，交叉验证至关重要。它有助于超参数调整，并提供有关模型在实际情况中可能如何表现的信息。

虽然基于组的交叉验证（Group-Based Cross-Validation）考虑了分组数据中的关系，但像分层 K 折（Stratified K-Fold）这样的高级技术可以确保类别的比例表示，使得交叉验证适用于各种数据集和应用。

交叉验证中分组的作用

当数据中存在不应随机划分的内在依赖性或相关观测值时，交叉验证中的分组至关重要。与逐个处理每个数据点不同，基于组的交叉验证可确保每个折中的所有来自同一组的样本都包含在训练集或测试集中。

交叉验证中分组的关键作用

• 防止数据泄露
  如果相似的样本被分配到测试集和训练集，模型可能会从训练数据中不公平地学习并高估性能。分组可以更轻松地使相关观测值保持分离。
• 维护数据结构
  基于组的划分尊重具有固有分组的数据集中的关系，例如时间序列数据、医学数据或从不同来源收集的数据。
• 增强模型的评估
  通过在完全不同的组上进行测试，该方法可以更准确地评估模型泛化到未知数据的能力。
• 在特定情况下很有用
  对于分层数据、重复测量或在不同条件下进行的实验，基于组的方法至关重要。

交叉验证的分组类型

• 基于主题的分组
  当数据点与特定主题或实体相关时，会创建这些分组。例如，在医学数据库中，一名患者的所有测量值或数据可以构成一个组。此类分组可确保同一主题的数据不会同时出现在测试集和训练集中，从而避免数据泄露和模型性能过高估计。
• 基于时间的分组
  对于包含顺序或时间数据的“时间序列”数据集，例如股票价格、传感器读数或气象数据，基于时间的分组是相关的。此处，数据根据时间间隔或特定事件进行组织。例如，在预测性维护中，来自每个设备的数据可以用于评估模型在新设备上的性能，同时保留时间结构。
• 基于批次的分组
  在制造操作或实验中收集的数据集中，批次通常用于描述组。例如，在化学实验中，由于受到严格控制的条件，同一批次的样本可能具有相似的特性。批次分组可确保模型在新的批次上进行测试，从而防止过拟合到特定于批次的趋势。
• 基于地点的分组
  地理或零售数据集中的分组可能与城市、商店或地区相关。例如，在销售预测中，数据可以通过商店进行标记，以验证模型在不同地区的泛化能力。基于此类分组的地理空间分析和本地预测应用受益匪浅。
• 基于用户的分组
  在推荐系统和行为预测任务中经常使用基于用户的分组。在这种情况下，单个用户的交互——例如产品评论、点击或购买——构成一个组。通过对用户进行分组，模型会在尚未见过的用户上进行测试，这使得评估对于预测新用户行为而言更加实用。
• 基于特征的分组
  某些数据集可以根据常见特征进行分类。例如，在文本分析中，数据可以按作者分类，以防止模型过拟合到特定的写作风格。类似地，在图像集合中，可以使用相似的元数据（例如摄影师、设备或分辨率）来定义组。
• 基于事件的分组
  当数据集中的数据与特定事件或发生相关时，会创建基于事件的分组。例如，在体育分析中，来自特定比赛或锦标赛的所有数据都可以组合成一个组，确保模型在全新的事件上进行测试。

识别和定义分组

• 了解分组结构
  在数据集中，分组代表数据点之间的聚类或关联，它们具有相似的特征。这些可能基于共同的主题、引用或条件。例如，在医学数据集中，一名患者的所有数据都可以分组在一起。类似地，来自不同商店的销售额可能构成零售数据中的分组。通过在训练和测试阶段将相关数据点保持在一起，可以确保这一点。
• 分组识别标准
  可以使用特定标准来识别组，例如共同的元数据、时间依赖性或上下文因素。例如，用户数据中的组可能由共享属性（如会话信息或用户 ID）定义。时间序列数据中的观测值可能来自同一设备或传感器，形成一个组。在选择正确的标准时，领域知识通常至关重要，因为它能反映数据集中可能不直接显现的关系。
• 有用的示例
  医疗数据可以按患者分类，以处理医疗数据中的患者内变异性。电子商务数据集中的客户购买历史可以按用户 ID 分组，以确保来自特定客户的每条数据都包含在测试或训练集中。基于实验批次的组通常在医学研究中使用，以避免由批次特定因素引起偏差。
• 分组定义的挑战
  当数据中存在不确定或重叠的关系时，定义组可能具有挑战性。例如，某些数据集可能没有明确的分组标识符，需要进一步预处理或分析来确定依赖性。不平衡的组大小是另一个挑战，会导致划分不均和评估结果不一致。早期发现这些问题对于成功的基于组的交叉验证至关重要。
• 分组验证
  在建立分组后，探索性数据分析（EDA）对于确认其适用性至关重要。聚类或数据可视化等方法可以显示所选分组是否捕获了重要的依赖关系。通过最小化偏差并确保模型评估的实用性，此验证阶段可确保分组与当前问题一致。

基于组的交叉验证应用

• 医学研究
  医学研究中的数据通常按患者分类，对同一受试者进行多次测试或观察。基于组的交叉验证可确保一名患者的所有数据都包含在训练集或测试集中。这可以防止数据泄露，因为将患者的数据包含在两个集中可能会导致评估结果过度乐观。它经常在临床试验中用于测试模型对全新患者群体的预测模型（例如药物反应预测器），以提供公平的评估。
• 时间序列预测
  对于按设备、传感器或组等实体组织的时间序列数据，基于组的交叉验证至关重要。例如，在设备监控中，按设备分组可确保数据点在折叠之间不重叠。类似地，按行业或部门对股票市场预测进行分组，可以测试模型在新实体上的性能，从而加强实际应用的预测。
• 文本分析
  文本分析数据通常存在依赖关系，例如同一用户评论或同一作者的作品。作者分组可防止模型过拟合特定写作风格，从而帮助模型更好地泛化到不同作者。通过按用户对评论进行分组，可以防止情绪分析模型因个人化的词汇使用而被扭曲。
• 图像处理
  在图像相关任务中，分组对于防止由于相关数据引起的偏差至关重要。例如，在对象检测中，同一摄影师拍摄的照片可能具有相似的条件或风格。通过对这些图像进行分组，可以确保模型在全新的环境中进行评估。类似地，在医学成像中，按患者分组通过确保同一受试者的扫描不会影响评估，来测试模型在不同患者群体中的泛化能力。
• 推荐系统
  推荐系统经常使用对象和用户数据，并且交互是相互依赖的。通过对用户进行分组，可以对尚未见过的用户进行推荐评估，模拟实际情况。或者，按对象分组可以评估模型推荐新对象的潜力。此方法有助于开发能够有效适应不同用户和产品类型的系统。
• 工业应用
  基于组的交叉验证常用于工业预测性维护和质量控制。例如，按制造批次或机器分组，可以更轻松地在实际环境中发现缺陷和评估模型。在生产中按地点或生产线标记的预测模型可以评估不同环境下的性能，从而确保可靠且可扩展的解决方案。

基于组的交叉验证挑战

• 不相等的组大小
  数据集的组大小可能差异很大，这在执行交叉验证时可能导致划分不均。例如，对于较小的组，测试集可能包含不足以进行公平评估的数据，而训练集可能被有限数量的大组所主导。这种不平衡可能扭曲模型性能指标，并使验证更加困难。
• 组数量有限
  如果数据集只包含少量组，则可能难以生成多个且规模可观的训练-测试划分。例如，在留一分组（Leave-One-Group-Out，LOGO）交叉验证中，少量组可能导致迭代次数较少，性能估计的方差较大。这使得评估模型的稳健性更加困难。
• 数据泄露风险
  某些特征可能跨组相关，这可能导致轻微的数据泄露，尽管进行了严格的分组。例如，在训练过程中，全局变量、时间特征或共享元数据可能会无意中泄露测试集的信息，从而夸大性能结果。
• 计算成本更高
  尤其是在处理复杂模型或大型数据集时，基于组的交叉验证可能需要额外的计算能力。创建特定于组的划分并重复训练模型可能比使用传统的交叉验证技术花费更多时间。
• 分组定义困难
  确定最佳分组标准并非总是易事。例如，在具有重叠或不确定关系的数据集中，可能难以确定样本属于哪个组。不恰当的分组定义可能导致有偏见或无效的验证。
• 泛化能力有限
  尽管基于组的交叉验证评估了模型在未见组上的性能，但它可能无法准确反映实际应用中存在组间依赖性的情况。因此，模型仍然可能难以泛化到完全不同的数据分布。

案例研究：分组数据的实际应用

• 医学诊断和成像
  MRI 测试的目标是训练一个模型来识别大脑中的异常。为了确保来自同一患者的每个扫描都被包含在训练集或测试集中，数据按患者分组。基于组的交叉验证使模型的性能能够反映其泛化到新患者的能力，并防止其过拟合到患者特定的特征（例如扫描仪伪影）。
• 推荐系统
  电影推荐平台的目标是预测用户对其未观看电影的偏好。在基于组的交叉验证中使用了用户定义的组。通过确保每个用户交互都包含在训练集或测试集中，这模拟了向新用户推荐电影的实际场景。该方法有助于评估模型泛化到全新用户的能力，而不是依赖于已知用户的数据。
• 时间序列预测
  制造商在工业环境中为各种设备创建了预测性维护模型。通过按设备对数据进行分组，可以确保训练集和测试集不重叠。通过在模型未见过设备上进行评估，该方法提高了模型在实际情况下的复制能力，其中每个设备都有独特的操作条件。
• 零售和销售预测
  一家零售连锁店使用基于组的交叉验证来预测商店级别的销售模式。通过基于商店创建组，可以防止来自不同商店的数据影响训练和测试阶段。通过让模型专注于学习一般的销售模式，而不是过拟合到特定商店的细微差别，可以提高模型在不同商店位置上的泛化能力。
• 基因组数据研究
  在包含来自多个实验室的基因表达模式的数据集上，基因研究中使用了分组交叉验证。通过根据实验室或实验批次创建组，可以控制批次效应，并确保模型获得相关的生物学模式，而不是特定于某个实验室的偏差。研究人员可以通过使用此方法，验证模型在各种实验配置中的稳健性。
• 通过文本分析识别作者
  作为识别匿名作品作者的搜索的一部分，按已知作者建立了组。基于组的交叉验证可确保每个作者的作品都被包含在测试集或训练集中。此方法评估了模型为未见句子分配作者身份的能力，而不是从训练数据中学习风格线索。