[论文解读] Segmentation Loss Odyssey

Jun Ma|arXiv (Cornell University)|May 27, 2020

Advanced Neural Network Applications参考文献 19被引用 28

一句话总结

本文提出了一种针对医学图像分割的深度学习损失函数的系统性分类法，将其分为基于分布的、基于区域的、基于边界的方法以及复合损失。该研究揭示了现有损失函数之间的结构性关系，并推荐使用复合损失函数——特别是Dice损失与边界损失的组合——在高度不平衡的分割任务中表现更优。

ABSTRACT

Loss functions are one of the crucial ingredients in deep learning-based medical image segmentation methods. Many loss functions have been proposed in existing literature, but are studied separately or only investigated with few other losses. In this paper, we present a systematic taxonomy to sort existing loss functions into four meaningful categories. This helps to reveal links and fundamental similarities between them. Moreover, we explore the relationship between the traditional region-based and the more recent boundary-based loss functions. The PyTorch implementations of these loss functions are publicly available at \url{https://github.com/JunMa11/SegLoss}.

研究动机与目标

• 为解决医学图像分割中各类损失函数之间关系缺乏统一框架的问题。
• 将现有损失函数系统性地划分为四类：基于分布的、基于区域的、基于边界的方法以及复合损失。
• 揭示看似不同的损失函数之间共享的根本相似性与优化目标。
• 基于数据不平衡程度与分割复杂度，为损失函数的选择提供实证指导。
• 通过全面的分类法与实现代码库，为损失函数的基准测试奠定基础。

提出的方法

• 提出四类分类法：基于分布的（如交叉熵、焦点损失）、基于区域的（如Dice、IoU、Tversky）、基于边界的方法（如边界损失、Hausdorff距离）以及复合损失（如组合损失、ELL）。
• 分析各类损失函数的数学公式，表明其分别优化分布相似性、区域重叠度或边界接近度。
• 证明基于边界的方法损失与基于区域的方法损失在结构上相关，二者均通过不同的加权策略最小化错位区域ΔM。
• 提出Dice、边界损失与Hausdorff损失的统一视角：三者均最小化相同的错位区域ΔM，但采用不同的加权机制：前景像素之和、与真实值的距离，或组合距离图。
• 推荐复合损失函数为最优选择，特别是将广义Dice损失与边界损失结合，以应对极端类别不平衡问题。
• 在 https://github.com/JunMa11/SegLoss 提供开源的PyTorch实现，以支持可复现性与基准测试。

实验结果

研究问题

• RQ1 如何基于其优化目标，对现有医学图像分割损失函数进行系统性分类？
• RQ2 基于区域与基于边界损失函数之间存在何种根本的数学与结构关系？
• RQ3 尽管形式不同，基于分布的损失（如交叉熵）与基于区域的损失（如Dice）在优化目标上是否具有共同点？
• RQ4 在类别不平衡的医学图像分割任务中，复合损失函数与单一损失函数相比表现如何？
• RQ5 在医学图像分割中，哪些损失函数组合在不同类别不平衡水平下表现出最稳健的性能？

主要发现

• 本文建立的四类分类法揭示了损失函数之间深层的结构性联系，表明基于区域与基于边界的方法损失均通过不同加权策略最小化相同的错位区域ΔM。
• 基于边界的方法损失（如Hausdorff距离与边界损失）在数学上与Dice损失相关，二者均通过最小化交集错位区域实现，仅在对难分像素的加权方式上不同。
• 复合损失函数——特别是广义Dice损失与边界损失的组合——在高度不平衡的分割任务中表现更优，如Kervadec等人[7]所展示。
• 根据Wong等人[16]的研究，指数对数损失（ELL）在20类脑部分割任务中优于标准Dice与交叉熵损失，凸显了通过变换损失函数以强调难分样本的优势。
• 加权的交叉熵与Dice损失之和始终优于单独使用任一损失，如Taghanak等人[15]与Isensee等人[5]所报告，进一步证明了复合损失设计的价值。
• 作者建议在医学图像分割中优先选择复合损失函数，尤其是在处理类别不平衡问题时，因其能够有效平衡多种优化目标。