图像分割的平均交并比 (mIoU)

引言

图像分割是计算机视觉中一项主要且基础的任务。图像被划分为不同的区域和部分。这种图像分割广泛应用于每项计算机视觉任务，如物体检测、医学成像和其他图像编辑相关任务。有必要评估图像分割的所有模型，以了解模型的运行情况。最终通过准确性来评估以找到图像分割模型。为此，平均交并比 (mIoU) 被用于图像分割。

什么是 MIOU？

Miou（平均交并比）是用于评估图像分割任务准确性结果的主要指标。它将衡量模型与地面真相掩码（ground masks）的匹配程度。mIoU 将估计原始分割和预测分割之间的交叉和重叠程度。

Miou 描述了两个框之间的重叠。如果重叠区域更大，则 Miou 的值也越大。在图像分割中，miou 的过程是训练一个模型以产生一个能完美贴合物体的容器。

如何计算 MIOU？

计算过程分为不同的步骤，如下所示：

1. IoU 计算

第一步是计算交并比。在分割任务中，每个类或类别，例如背景和前景，将作为各自类的交并比进行计算。有两种不同类型的掩码：地面真相掩码和预测掩码。IoU 是这两个掩码之间面积之比。

并集面积 (Area of Union)：它被定义为在预测掩码或地面真相掩码中被标记为正数的总像素数。

交集面积 (Area of Intersection)：它被定义为在地面真相掩码和预测掩码中都被标记为正数的像素计数。

IoU 的计算公式为：

2. 第二步是计算特定类的 IoU 值。每个类的 IoU 都单独计算。例如，如果我们以二元分割任务（如前景和背景）为例，将有两个不同的类。在更困难和复杂的任务中，将有多个类。

3. mIoU 计算

现在，在第三步中，计算主要均值。这是关键步骤，所有类的各自 IoU 值和分数的平均值被计算为均值。mIoU 的计算公式如下：

这里，n 是类的总数。

为了获得最佳的图像分割模型性能，平均交并比 (mIoU) 分数应该越高越好。计算 mIoU 的主要目的是使预测掩码在每个类中都非常接近地面真相掩码。这非常有价值，因为一个全面的单一指标可以全面了解图像分割任务中多个类别的质量。

使用 NumPy 进行 Python 实现

代码

输出

IoU for Class 1 (Foreground): 0.50
IoU for Class 0 (Background): 0.50
Mean IoU (mIoU): 0.50

交并比 (IoU) 的基础知识

交并比 (IoU) 定义

• 交并比 (IoU) 是计算机视觉中一种典型的评价指标，用于评估物体检测或分割算法的精确度。IoU 计算为预测分割与地面真相之间重叠区域与并集区域的比率。给定 A 是预测掩码内的像素集合，B 是地面真相内的像素集合，则 IoU = |A ∩ B| / |A ∪ B|，该数量被归一化到 0 到 1 之间的值，其中 1 表示最佳重叠。

数学函数与计算

• IoU 的数学描述很简单：IoU = 并集面积 / 交集面积。当应用于分割掩码时，交集区域是预测和地面真相都标记为目标分割部分的像素数。并集是预测或地面真相标记为目标的整个像素。实际上，IoU 通过计算两个二值掩码的交集像素的逻辑 AND 和并集像素的逻辑 OR 来实现，这使得逐像素分析时计算效率很高。

直观理解

• IoU 具有视觉直观性：IoU 值越高，预测对象与实际对象的对齐程度就越高。在分割图像时，可以通过预测掩码和地面真相的重叠来可视化 IoU。两个掩码重叠的部分（交集）被强调，而分歧的部分会增加到并集但不会增加到交集。IoU 为 0 表示没有重叠，1 表示完全匹配，介于两者之间的数字表示分割的质量。这使得 IoU 在定性和定量分析中都具有特殊意义。

IoU 如何用于分类和分割？

• IoU 在物体检测、实例分割和语义分割中非常重要，因为它们需要将预测的边界框或分割掩码与地面真相标注进行比较。在分类任务中，它可以帮助确定性能阈值，例如，只有当 IoU 超过 0.5 时，检测才被视为阳性。IoU 与语义分割中的单个类和总图像相关。这比简单的准确率或逐像素存在/不存在提供了更详细的数据，因此是研究和实际产品实现中的关键指标。

IoU 的限制和敏感性

• IoU 被广泛应用，但并非没有局限性。对于小物体，IoU 的测量可能信息量不足，而小的位置误差会对 IoU 产生很大的影响。它对细微的边界差异也很敏感，这些差异在给定程序中可能不重要，但会显著影响指标值。此外，类不平衡，即一个类比其他类有更大的权重，可能导致忽略稀有对象类别。因此，为了更全面地评估性能，IoU 可以与其他有用的指标一起使用，例如 Dice 系数或像素准确率。

mIoU 的应用

衡量语义分割模型的有效性

• mIoU 是比较语义分割算法的常用方法，其任务是为图像中的每个像素打上类别标签。它提供了对模型中的分割掩码与所有类别中的目标标签（即地面真相分割）的匹配程度的累积度量，并提供了每类 IoU 分数的类加权平均值。这使得 mIoU 特别适用于需要对各种分割结果进行精细概述的研究竞赛、学术文章和工业验证。

医学图像分割质量评估

• 在许多情况下，医学成像中更多地用于推断解剖和病理区域（包括 MRI、CT 或 X 射线扫描中的肿瘤、器官或组织结构）的分割精度。它们在诊断、治疗规划和需要精确分割的设备引导中至关重要。mIoU 可用于建立健康的定量指标，以比较自动化系统与放射科医生和临床医生的手动标记地面真相，这些医生将确定新算法是否足够精确以通过监管审批和临床可接受性Regarding the segmentation。

自动驾驶和道路场景理解

• mIoU 是自动驾驶场景中评估分割模型的核心部分，其中道路、车道、车辆、行人以及交通标志的分割精度对于决策至关重要。Cityscapes 和 KITTI 等基准数据集上的模型提交的主要评估指标就是 mIoU。它能够评估复杂场景中多个类别的性能，这使得自动驾驶系统能够稳健地处理和应对各种安全关键的现实世界场景。

遥感 - 农业和遥感

• mIoU 还可用于分类土地覆盖图或使用航空或卫星图像分割的作物类型；例如，精准农业和遥感。接近一的 mIoU 值表明了稳定的植被分类、良好的田地边界检测或对水体或城市区域等特定特征的分类。准确的地图绘制有助于有效的土地管理、产量预测和生态监测，从而使研究人员和农学家能够根据自动图像分析得出相关结论。

工业分割和缺陷检测

• mIoU 使得依赖光学检测来识别产品缺陷、表面异常或装配过程错误的行业能够实现质量控制的自动化。制造业中的语义或实例分割模型在包含标记缺陷的数据集上使用 mIoU，从而确保检测产品或材料有缺陷区域的高质量。此外，定期使用 mIoU 将有助于确保基于 AI 的检查系统能够替代或补充人工检查员，从而提高吞吐量和可靠性。

排行榜和研究竞赛的基准系统

• mIoU 成为大型计算机视觉研究竞赛和公共排行榜（例如 Kaggle、PapersWithCode 或 CVPR 挑战赛）的主要排名标准之一，这得益于其易于计算。它允许通过标准化的方法比较新的分割架构和技术，以评估它们的有效性，并通过在数据集和研究之间实现可重复、透明和公平的比较来促进进步。

深度学习模型选择、超参数调整

• 在训练和验证某种形式的图像分割的神经网络时，mIoU 为模型选择和超参数调整提供了信息。在尝试使用新架构、学习率、数据增强或损失函数时，训练日志和图表会观察 mIoU 的变化。对于有兴趣确保基准改进能够转化为更好的现实世界性能的开发者来说，最大化验证集上 mIoU 的模型至关重要，尤其是在他们希望部署解决方案到医疗保健、机器人或面向用户的界面时。

提高 mIoU 分数

最佳数据增强策略

• 良好的数据增强为分割模型提供了更多的输入变化，从而增强了其鲁棒性和泛化能力。一些技术包括旋转、缩放、翻转或裁剪等几何变换，色彩抖动和弹性变形等。它们有助于模型处理由于方向、光照或轻微形态变化带来的变异性。适当增强的数据不仅减少了过拟合，还提高了模型在未见数据和稀有类别上的分割精度，这两者都直接与更高的平均交并比 (mIoU) 分数相关。

基于多尺度和上下文特征

• 模型在不同层级的描绘和上下文图像捕获使用有助于识别图像精细和粗糙结构的特征。像 U-Net、DeepLab 和特征金字塔网络 (FPN) 这样的高级架构也部署了跳跃连接和多尺度特征提取块，将图像不同分辨率下提取的信息压缩到一个位置。结合全局和局部信息将有助于清除模糊区域，特别是边界，并提供显着的优势，例如提高分割精度和效率。通过使用空洞卷积或上下文模块，还可以实现插值，以对复杂预测进行进一步精炼。

使用高级损失函数

• 标准的逐像素交叉熵可能无法充分惩罚包含少量对象或边界区域的分割错误。更具体的分割专用损失函数（例如 Dice 损失、Jaccard 损失（IoU 损失）或它们的组合）可以教会学习模型重叠质量以及类别平衡。它们可能偏向于纠正类别不平衡或更侧重于前景/背景区分，从而改进困难类别的学习。这可以通过使用这种高级损失函数直接最大化 mIoU 来实现，从而减小预测区域与地面真相区域之间的差异。

条件随机场 (CRF) 后处理或形态学操作

• 诸如形态学操作或 CRF 等后处理方法可以通过清理嘈杂的分割估计和去除不需要的伪影来改进分割掩码。CRF 结合了外观相似性和空间连续性的优点，以最大化边界清晰度和标签一致性。通过形态学操作（膨胀、腐蚀、开运算和闭运算），可以填充空隙并消除小的错误分类区域。将这些技术作为后处理步骤，通常会得到一个更清晰、更连续的分割，特别是在物体边界周围，从而在验证集和测试集上都提高了 mIoU。

类别失衡和焦点训练

• 分割数据往往是不平衡的，某些类别的出现频率远低于其他类别。否则，模型将过拟合到频繁出现的类别，导致少数类别的 mIoU 较低。可以使用某些技术来减少这种偏差，例如损失中的类别加权、重采样技术或焦点损失。这些方法可以实现更全面的学习，并提高所有类别的分割召回率，从而通过将更多梯度信号集中在困难或少数类别上，直接提高整体 mIoU 性能。

真实案例研究

Cityscapes 数据集城市场景分割

• Cityscapes 数据集是自动驾驶领域城市场景语义分割的黄金标准。其基准是 mIoU，它衡量模型在 30 多个类别（如道路、建筑物、车辆和行人）上的效率。DeepLabV3+ 和 HRNet 等最先进的模型在此平台上进行测试，mIoU 等度量标准提供了良好的比较。为了最大化 mIoU，研究人员改进了预处理、模型设计和后处理，这表明了该指标驱动的技术创新。在 Cityscapes 上取得的最高性能（mIoU 通常超过 80%）直接转化为车辆导航、障碍物检测和智能城市内的自动测绘等实际应用。

神经影像医学肿瘤分割

• 在脑部 MRI 分析中，准确的肿瘤分割对于手术规划和疾病进展追踪至关重要。为了评估自动化模型，BraTS 挑战赛使用 mIoU 来比较结果与专家放射科医生手动注释的参考分割。U-Net 和 nnU-Net 等网络由团队使用，这些团队的目标是获得高 mIoU 分数，从而能够安全精确地进行肿瘤描绘。文献表明，高 mIoU 与积极的临床结果相关，因为即使是微小的分割错误也可能改变放疗或切除的边界。因此，mIoU 已成为医学图像分析质量控制的标准（包括研究和临床）。

自动化土地覆盖制图：卫星数据

• 用于土地利用/土地覆盖 (LULC) 制图的卫星图像在农业、城市规划和环境监测中起着至关重要的作用。mIoU 的评估用于 DeepGlobe 等项目，以根据森林、水体、农作物和城市区域的一致图像确定模型性能。模型排名基于不同区域获得的 IoU 分数的平均值，这表明如何在各种大气条件或季节下改进鲁棒分割。高 mIoU 将提高土地调查和环境评估的准确性，从而有助于在灾害管理以及可持续地分配各个领域所需的资源时做出更好的决策。

精准农业作物和杂草分割

• 机器人和无人机系统利用分割模型来区分高分辨率田地图像中的杂草和作物，这在精准农业中非常重要。Sugar Beets (SB) 和 WeedMap 等数据集使用 mIoU 进行基准测试。准确的 mIoU 值与良好的作物/杂草分割相关，以便精确施用除草剂并最大限度地减少环境影响。商业潜力基于足够高的 mIoU，以允许自动田间机器人以农民的精度工作，从而提高产量和可持续性并减少劳动力。

利用工业视觉检测控制制造质量

• 基于 mIoU 的评估应用于汽车和电子行业，模型在装配线上部署以检测缺陷。例如，三星使用深度分割模型来识别智能手机显示屏中的异常，其中 mIoU 用作检测效果的指标，并减少漏报次数。高 mIoU 保证了比手动检查更好的缺陷定位，减少了生产故障，降低了保修服务成本。实时部署的输送带检查系统提高了吞吐量和一致性，并促进了预测性维护计划。

动物遮挡 - 动物栖息地的航空遮挡

• 为了空间调查动物种群和栖息地变化，野生动物生物学家采用航空或无人机影像和分割模型。企鹅栖息地或大象迁徙的测绘项目关注 mIoU，以比较模型在确定动物群体相对于地形背景的准确性。与任何外部信息无关。高 mIoU 分数意味着保护策略将是数据驱动的，支持种群估计、迁徙或栖息地恢复。mIoU 验证的高级分割有助于政府和非政府组织优先考虑保护工作，并确定生态系统的状态。

常见问题解答

图像分割中的平均交并比 (mIoU) 的含义是什么，如何计算？

• 平均交并比 (mIoU) 是一种非常流行的方法，用于评估应用于图像的分割模型的质量。mIoU 测量每个图像中不同类别的输出与地面真相之间的重叠，然后对所有类别的结果取平均值。对于每个类，IoU 计算为交集（预测和地面真相之间的重叠区域）与并集（两者覆盖的总空间）之比。mIoU 是一个全面（且均衡）的指标，因此在使用它来评估多个类别数量不等、频率和规模各异的数据集上的性能时特别有效。

为什么不使用像素准确率来衡量分割性能？

• 与标准的像素准确率相比，mIoU 因其在类不平衡严重的数据集中更能区分分割精度而被广泛使用。当大面积背景占主导地位时，像素准确率的用处也不大，因为模型可以通过高准确率预测常见的标签类别，而忽略对稀有但重要的标签类别的判断。直观地说，mIoU 也按类别成比例地惩罚误报和漏报，而不是仅仅奖励那些在较大物体和常见类别上取得良好结果的模型。因此，mIoU 被认为是一个更优质、更诚实、信息量更大的指标，用于模型规范和优化。

在多类问题中应该如何处理？缺类预测会有什么影响？

• mIoU 分别计算每个类的 IoU，最后按数据集中存在的所有类别进行平均。如果一个图像在预测和地面真相中都没有某个特定类别，那么该特定类别可能不会包含在该特定案例的 mIoU 分数中；这取决于实现。如果一个类别出现在地面真相中而模型没有捕获到它，则该类别的平均 IoU 为零，这会降低 mIoU 分数。逐类平均会使预测不佳或丢失的类别严重影响整体分数，从而促使对所有分割类别的努力。

那么，一个好的 mIoU 分数意味着什么，你应该期待什么值？

• 与任何其他指标一样，好的 mIoU 分数是相对于数据集、应用和基线结果而言的。对于像 Cityscapes 这样成熟的数据集，最佳模型的 mIoU 约为 75-85%。在医学影像（图像分割）或遥感领域，mIoU 高于 80% 可以被认为是好的，这取决于边界的模糊性或变化性。可以说，应该将 mIoU 与基线、人类一致性和应用需求进行比较，因为并非所有评估任务都能容忍较低的分数。为了便于解释，mIoU 应被理解为平均分割质量的衡量标准：越接近 1.0，模型在任何类别上的表现就越接近专家标注。

是否可以在 2 类和多类分割问题中使用 mIoU？

• mIoU 可以用于二元（前景与背景）或多类分割。在二元分割中，mIoU 可以计算为唯一对象类别（有时会与背景平均）的 IoU。IoU 分别计算每个类别，然后计算平均值。这种灵活性使得 mIoU 成为从肿瘤与非肿瘤分割到数十个类别的城市场景理解领域最广泛使用的指标。在任何情况下，mIoU 都提供公平的评估，因为它使每个类别的分数均衡，即使在物体形状、边界复杂性或数据集中频率可能存在差异的情况下也是如此。

使用 mIoU 作为唯一指标的限制/陷阱有哪些？

• 尽管 mIoU 是一个优秀且强大的指标，但它也有其弱点。它对小型物体相当敏感，不均匀的步长或被遗漏的边界可能导致在这些类别上的分数大幅下降。mIoU 在空间连续性或边界精度方面的表现不如以边界为中心的度量，而且平均值可能会掩盖模型在类不平衡严重的数据集上对稀有但重要类别的无效性能。因此，通常会将 mIoU 与其他指标（如 Dice 系数、像素准确率、每类精度-召回率和边界 F1 分数）结合使用，以获得全面的视图，涵盖分割质量的各个方面。

在训练和部署分割模型时，有哪些优化 mIoU 的方法？

• 要提高 mIoU，可以采取几种方法：（a）扩展数据以包含更多实例并系统地进行数据增强，从而使模型能够更好地暴露于各种变化并进行泛化。（b）利用先进的网络架构，如 U-Net、DeepLab 或 Transformer，可以改善空间和上下文理解。（c）应使用处理类别差异的损失函数（例如 Dice 损失或焦点损失），以确保少数类别不会被忽略。（d）应用后处理方法，即条件随机场或形态学操作，可以平滑输出。最后，还可以调整超参数，并且可以采用模型集成技术来获得额外的 mIoU 并改进复杂区域和各种类别的分割。

mIoU 是否存在于现实世界中，有例子吗？

• 绝对地，mIoU 在现实世界的图像分割中起着至关重要的作用。mIoU 衡量模型在自动驾驶（Cityscapes、KITTI）中理解道路场景的适用性。在医学成像领域（例如 BraTS 挑战赛），它确保肿瘤分割被临床医生接受。mIoU 用于卫星和农业分析中的土地覆盖、作物绘图和环境监测。基于 mIoU 验证的可靠自动分割在工业检测、电子商务目录编制和野生动物调查中得到应用。mIoU 分数持续较高，并与安全关键场景、监管甚至商业环境中的高效、可信部署直接相关，并展示了该指标在所有行业中的广泛影响。