[论文解读] Simultaneous Edge Alignment and Learning

Zhiding Yu, Weiyang Liu+5 more|arXiv (Cornell University)|Aug 6, 2018

Medical Image Segmentation Techniques参考文献 3被引用 4

一句话总结

本文提出SEAL，一种端到端深度学习框架，通过将边缘标签视为概率模型中的隐变量，联合优化边缘对齐与检测。通过在训练过程中将标签精炼建模为最小费用二分图匹配问题，SEAL纠正了标注错位问题，生成更清晰、更精确的边缘，其在SBD和Cityscapes基准上实现了最先进性能，同时提升了噪声标签的质量。

ABSTRACT

Edge detection is among the most fundamental vision problems for its role in perceptual grouping and its wide applications. Recent advances in representation learning have led to considerable improvements in this area. Many state of the art edge detection models are learned with fully convolutional networks (FCNs). However, FCN-based edge learning tends to be vulnerable to misaligned labels due to the delicate structure of edges. While such problem was considered in evaluation benchmarks, similar issue has not been explicitly addressed in general edge learning. In this paper, we show that label misalignment can cause considerably degraded edge learning quality, and address this issue by proposing a simultaneous edge alignment and learning framework. To this end, we formulate a probabilistic model where edge alignment is treated as latent variable optimization, and is learned end-to-end during network training. Experiments show several applications of this work, including improved edge detection with state of the art performance, and automatic refinement of noisy annotations.

研究动机与目标

• 解决边缘检测中标签错位这一关键挑战，尽管深度学习技术不断进步，但标签错位仍会降低模型性能。
• 开发一种统一框架，在训练过程中联合学习边缘检测并精炼噪声大、错位的真值标注。
• 通过在可微分的端到端训练过程中将边缘对齐建模为隐变量优化问题，提升边缘检测质量。
• 证明纠正标签错位可带来更清晰、更精确的边缘预测，并提升泛化能力。
• 表明所提方法在SBD和Cityscapes等标准基准上优于现有最先进模型。

提出的方法

• 在概率图模型中将边缘对齐建模为隐变量优化问题，将真值边缘视为需推断的未观测变量。
• 将对齐过程建模为预测边缘像素与真值边缘像素之间的最小费用二分图匹配问题，实现可微分优化。
• 将对齐模块集成到全卷积网络（FCN）主干网络中，支持通过反向传播进行端到端训练。
• 采用离散匹配问题的可微分松弛方法，使反向传播过程中梯度能够流动，从而实现检测与对齐的联合优化。
• 使用加权交叉熵损失函数并引入学习到的边缘置信度，以平衡正负样本，减少误报。
• 采用两阶段训练策略：首先通过对齐模块精炼标签；其次使用精炼后的标签微调完整网络。

实验结果

研究问题

• RQ1 联合学习边缘检测与标签对齐是否能超越标准FCN模型的边缘检测性能？
• RQ2 纠正标签错位在多大程度上能提升边缘清晰度并减少边缘检测中的误报？
• RQ3 所提方法能否在无需重新标注的情况下自动精炼噪声大或错位的标注？
• RQ4 在标准与精炼评估协议下，SEAL的性能与最先进模型相比如何？
• RQ5 该框架在SBD和Cityscapes等具有不同标注质量的多样化数据集上是否具备泛化能力？

主要发现

• 在标准基准的SBD测试集上，SEAL的平均F-measure达到74.4，显著优于此前最先进方法（71.4）。
• 在经重新标注、标注质量更高的SBD测试集‘Thin’设置下，SEAL的平均F-measure达到66.9，优于CASENet-S（66.4），展现出对标签噪声的鲁棒性。
• SEAL显著提升了标签质量：在与重新标注的真值对比下，其F-measure相比原始标注相对提升了12.5%，优于基于密集CRF的精炼方法。
• 在Cityscapes验证集上，SEAL在所有类别中均表现优异，平均F-measure达到75.9，显著优于CASENet与CASENet-S。
• 可视化结果表明，SEAL能逐步将边缘预测收紧至物体边界周围，相比基线模型减少了边缘厚度与误报。
• 该方法通过在训练中纠正错位标签，成功减少了边缘附近的误报，即使在加权损失设置下也表现良好。