[论文解读] Weighted Intersection over Union (wIoU) for Evaluating Image Segmentation

Yeong-Jun Cho|arXiv (Cornell University)|Jul 21, 2021

Advanced Neural Network Applications参考文献 32被引用 14

一句话总结

本文提出加权交并比（wIoU），一种用于图像分割的新评估指标，通过边界重要性因子根据像素与目标边界的距离自适应地分配权重。通过将区域和边界评估整合到一个灵活的统一指标中，wIoU 可根据权重参数与标准 IoU 及边界聚焦指标（如 F1 分数）保持强相关性，提供一种更直观且可调的评估框架，且无需依赖敏感超参数。

ABSTRACT

In recent years, many semantic segmentation methods have been proposed to predict label of pixels in the scene. In general, we measure area prediction errors or boundary prediction errors for comparing methods. However, there is no intuitive evaluation metric that evaluates both aspects. In this work, we propose a new evaluation measure called weighted Intersection over Union (wIoU) for semantic segmentation. First, it builds a weight map generated from a boundary distance map, allowing weighted evaluation for each pixel based on a boundary importance factor. The proposed wIoU can evaluate both contour and region by setting a boundary importance factor. We validated the effectiveness of wIoU on a dataset of 33 scenes and demonstrated its flexibility. Using the proposed metric, we expect more flexible and intuitive evaluation in semantic segmentation field are possible.

研究动机与目标

• 为解决缺乏能同时捕捉语义分割中区域准确性和边界准确性的一体化评估指标的问题。
• 克服标准 IoU 的局限性（即对所有像素同等对待），以及边界专用指标（如 F1 分数）对距离容差参数高度依赖的问题。
• 开发一种通过基于像素与边界接近程度加权来实现直观、无超参数评估的指标。
• 通过使用包含 33 幅场景的受控数据集，验证该指标在多样化分割结果中的灵活性与有效性。
• 探索 wIoU 作为新型训练损失函数在提升分割网络性能方面的潜力。

提出的方法

• 该方法从边界距离图生成权重图，其中每个像素的权重随其与目标边界的接近程度而增加。
• 边界重要性因子 α 控制对边界像素的相对关注程度：较小的 α 值优先考虑区域准确性（类似于 IoU），而较大的 α 值则强调边界精确度。
• wIoU 分数通过加权平均的交并比计算得出，每个像素的贡献根据其对应权重图中的权重进行缩放。
• 权重图由真实分割掩码的 L1 距离变换推导得出，确保空间感知的加权。
• 该指标设计为可微分，兼容深度学习训练流水线，具备作为损失函数的潜在应用价值。
• 该方法通过将边界敏感性直接嵌入权重图中的 α 参数，避免了依赖如边界 F1 分数中的 θ 等调参过程。

实验结果

研究问题

• RQ1 单一评估指标能否有效平衡语义分割中的基于区域与基于边界的性能？
• RQ2 在不同分割结果中，所提出的 wIoU 指标与标准 IoU 及边界专用指标（如 F1 分数）的相关性如何？
• RQ3 边界重要性因子 α 在多大程度上影响指标的行为及其对不同类型错误（如边界附近的误报）的敏感性？
• RQ4 当错误的空间分布发生变化但总错误数保持不变时，wIoU 是否能维持评估的一致性？
• RQ5 wIoU 是否可作为现有指标在分割模型评估与训练中的可行替代品或补充？

主要发现

• 当边界重要性因子较低（α = 0.01）时，wIoU 与标准 IoU 的相关系数达到 0.98，证实其与基于区域的评估具有一致性。
• 当边界重要性因子较高（α = 100）时，wIoU 与基于边缘的 F1 分数相关系数达 0.95，表明其与边界聚焦指标高度一致。
• wIoU（α = 100）与基于边缘的 F1 分数之间的差异总和显著更低（0.048），表明两者在排序性能上高度相似。
• 在错误数量相同但空间分布不同的测试图像中，wIoU（α = 1）产生了不同的分数，表明其对错误位置敏感且能实现有意义的区分。
• 对于错误数量相同的测试图像，基于边缘的 F1 分数在 0.5843 到 0.936 之间波动，凸显其不稳定性及对预测布局的敏感性。
• 结果表明，wIoU 不仅可作为稳健的评估指标，还可作为训练分割网络的有前景的区域-轮廓损失。