[论文解读] SegFix: Model-Agnostic Boundary Refinement for Segmentation

Yuhui Yuan, Jingyi Xie+2 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Neural Network Applications参考文献 64被引用 13

一句话总结

SegFix 是一种与模型无关的后处理方法，通过用对应内部像素的标签替换不可靠的边界预测，从而提升语义分割和实例分割的边界质量。它通过学习的边界图定位边界，并估计指向内部的定向向量以识别内部对应关系，实现接近实时的推理速度，并在多个模型和基准测试（包括 Cityscapes、ADE20K 和 GTA5）中保持一致的 mIoU 提升。

ABSTRACT

We present a model-agnostic post-processing scheme to improve the boundary quality for the segmentation result that is generated by any existing segmentation model. Motivated by the empirical observation that the label predictions of interior pixels are more reliable, we propose to replace the originally unreliable predictions of boundary pixels by the predictions of interior pixels. Our approach processes only the input image through two steps: (i) localize the boundary pixels and (ii) identify the corresponding interior pixel for each boundary pixel. We build the correspondence by learning a direction away from the boundary pixel to an interior pixel. Our method requires no prior information of the segmentation models and achieves nearly real-time speed. We empirically verify that our SegFix consistently reduces the boundary errors for segmentation results generated from various state-of-the-art models on Cityscapes, ADE20K and GTA5. Code is available at: https://github.com/openseg-group/openseg.pytorch.

研究动机与目标

• 解决最先进分割模型中持续存在的边界误差问题，尤其是在细长物体边缘处。
• 开发一种后处理方法，可在不访问或修改原始分割模型的情况下提升分割边界质量。
• 在保持多种模型和数据集上一致性能提升的同时，实现高速推理。
• 将该方法扩展至语义分割和实例分割任务，且仅需对架构进行最小改动。

提出的方法

• 该方法首先仅基于输入图像预测的有学习的二值边界图，定位边界像素。
• 然后使用基于图像特征训练的卷积网络，估计从每个边界像素指向内部像素的方向图。
• 对于每个边界像素，通过沿预测的方向向量移动固定距离，识别对应的内部像素。
• 将边界像素的原始分割标签替换为所识别的内部像素的标签，从而有效优化边界。
• 整个过程作为后处理步骤应用，无需对基础分割模型进行微调或架构修改。
• 该方法在图像输入和分割真实标签上端到端进行训练，推理时仅使用图像，不依赖分割输出。

实验结果

研究问题

• RQ1 后处理方法是否能在不修改底层分割模型的情况下提升分割边界质量？
• RQ2 用对应内部像素的标签替换边界预测，是否能在多种模型和数据集上实现一致的性能提升？
• RQ3 一种与模型无关、轻量级的优化机制能否在提升细长边界 mIoU 的同时实现接近实时的推理速度？
• RQ4 该方法在小尺度物体上的效果如何，这些物体尤其容易出现边界误差？

主要发现

• 在 Cityscapes 上，SegFix 在所有评估模型中均一致提升了 mIoU，其中 'pole' 类别的提升最高达 3.1%，'traffic light' 类别提升达 2.7%。
• 在 Cityscapes 语义分割排行榜上，'HRNet + OCR + SegFix' 达到 84.5% 的 mIoU，于 ECCV 2020 截止日期前排名第一。
• 在实例分割任务中，'PolyTransform + SegFix' 达到 41.2% 的 mAP，在 Cityscapes 实例分割排行榜中排名第二。
• 该方法实现了近乎实时的推理速度，使其在实际应用中具有部署可行性。
• 在 Cityscapes 和 ADE20K 上联合训练的统一 SegFix 模型，其性能与分别在每个数据集上训练的模型相当。
• 定性结果表明，SegFix 有效减少了人物、灯柱和交通标志等细长边缘的边界伪影。