[论文解读] Optimization of the Jaccard index for image segmentation with the Lovász hinge.

Maxim Berman, Matthew B. Blaschko|arXiv (Cornell University)|May 24, 2017

Advanced Neural Network Applications被引用 12

一句话总结

本文提出通过使用凸代理损失函数——Lovász hinge，直接优化语义图像分割中的Jaccard指数（IoU），相较于交叉熵损失，实现了更快、更稳定的训练。该方法在Pascal VOC数据集上使用先进的分割网络，显著提升了IoU得分。

ABSTRACT

The Jaccard loss, commonly referred to as the intersection-over-union loss, is commonly employed in the evaluation of segmentation quality due to its better perceptual quality and scale invariance, which lends appropriate relevance to small objects compared with per-pixel losses. We present a method for direct optimization of the per-image intersection-over-union loss in neural networks, in the context of semantic image segmentation, based on a convex surrogate: the Lov\'asz hinge. The loss is shown to perform better with respect to the Jaccard index measure than other losses traditionally used in the context of semantic segmentation; such as cross-entropy. We develop a specialized optimization method, based on an efficient computation of the proximal operator of the Lov\'asz hinge, yielding reliably faster and more stable optimization than alternatives. We demonstrate the effectiveness of the method by showing substantially improved intersection-overunion segmentation scores on the Pascal VOC dataset using a state-of-the-art deep learning segmentation architecture.

研究动机与目标

• 为解决标准逐像素损失（如交叉熵）在优化分割质量指标（如Jaccard指数）方面的局限性。
• 开发一种可微分的凸代理损失，以实现在深度神经网络中对Jaccard指数的直接优化。
• 通过利用Jaccard指数的尺度不变性和感知有意义的特性，提升小物体的分割性能。
• 基于Lovász hinge的近端算子设计一种高效的优化方法，以实现稳定且快速的训练。
• 在基准分割数据集上展示所提出损失函数相较于传统损失函数的优越性。

提出的方法

• 本文引入Lovász hinge作为非可微Jaccard指数的凸代理，支持端到端训练。
• 将Lovász hinge损失形式化为Jaccard指数的凸松弛，从而支持基于梯度的优化。
• 开发了一种高效算法以计算Lovász hinge的近端算子，这对优化的稳定性和速度至关重要。
• 将Lovász hinge损失集成到深度学习分割架构中，替代标准的交叉熵损失。
• 优化过程采用近端梯度下降法，并利用计算得到的近端算子来最小化代理损失。
• 该方法在使用最先进的分割模型的Pascal VOC数据集上进行了评估。

实验结果

研究问题

• RQ1 是否能够通过可微代理损失在深度神经网络中直接优化Jaccard指数？
• RQ2 与交叉熵损失相比，Lovász hinge损失是否能在IoU指标上带来更好的分割性能？
• RQ3 与其它方法相比，Lovász hinge损失的优化是否更加稳定高效？
• RQ4 与标准逐像素损失相比，该方法在小物体上的表现如何？
• RQ5 Lovász hinge损失是否能提升标准基准（如Pascal VOC）上的分割质量？

主要发现

• Lovász hinge损失实现了对Jaccard指数的直接优化，而该指标本身不可直接微分。
• 与交叉熵损失相比，该方法在Pascal VOC数据集上的交并比（IoU）分割得分显著提升。
• 由于近端算子的高效计算，优化过程比其他方法更快、更稳定。
• 由于Jaccard指数具有尺度不变性，该方法在小物体上表现出更优的性能。
• 在Jaccard指数指标上，所提出的损失优于标准损失，证实了其在分割任务中的有效性。
• 当集成到最先进的深度学习分割架构中时，该方法表现有效。