[论文解读] Noisy Labels are Treasure: Mean-Teacher-Assisted Confident Learning for Hepatic Vessel Segmentation

Zhe Xu, Donghuan Lu+6 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Neural Network Applications参考文献 27被引用 4

一句话总结

该论文提出了一种基于均值教师网络的自信学习（MTCL）框架，旨在利用低质量（噪声）的肝脏血管标注以提升分割性能。通过使用教师网络基于自信学习对像素级标签进行校正，该方法将噪声标签从‘负担’转变为‘财富’，在两个公开数据集上实现了最先进的性能，Dice分数和Hausdorff距离均有显著提升。

ABSTRACT

Manually segmenting the hepatic vessels from Computer Tomography (CT) is far more expertise-demanding and laborious than other structures due to the low-contrast and complex morphology of vessels, resulting in the extreme lack of high-quality labeled data. Without sufficient high-quality annotations, the usual data-driven learning-based approaches struggle with deficient training. On the other hand, directly introducing additional data with low-quality annotations may confuse the network, leading to undesirable performance degradation. To address this issue, we propose a novel mean-teacher-assisted confident learning framework to robustly exploit the noisy labeled data for the challenging hepatic vessel segmentation task. Specifically, with the adapted confident learning assisted by a third party, i.e., the weight-averaged teacher model, the noisy labels in the additional low-quality dataset can be transformed from "encumbrance" to "treasure" via progressive pixel-wise soft-correction, thus providing productive guidance. Extensive experiments using two public datasets demonstrate the superiority of the proposed framework as well as the effectiveness of each component.

研究动机与目标

• 为解决CT扫描中因对比度低和形态复杂而难以标注的高质量（HQ）肝脏血管数据稀缺问题。
• 克服在训练数据中引入低质量（LQ）噪声标签导致的性能下降问题。
• 开发一种有效利用大量LQ标注数据的方法，将噪声标注转化为可靠的训练信号。
• 在仅使用少量HQ数据和大规模LQ数据的前提下，实现对肝脏血管分割的鲁棒半监督学习。

提出的方法

• 该框架采用均值教师架构，其中学生网络通过数据增强进行训练，而教师网络则使用指数加权平均（EWA）参数提供一致的预测结果。
• 将自信学习（CL）适配用于像素级噪声检测，通过分类噪声过程（CNP）假设建模标签污染。
• 设计了一个平滑自去噪模块（SSDM），利用教师网络预测所得的置信度分数，逐步校正噪声标签。
• 通过在不同数据增强下学生与教师预测之间的一致性损失，提升模型鲁棒性与特征学习能力。
• 不丢弃噪声标签，而是基于置信度对其进行重加权与校正，使网络能够有效从HQ和LQ数据中学习。
• 采用端到端训练方式，结合交叉熵损失、一致性损失与自去噪正则化损失。

实验结果

研究问题

• RQ1 能否将低质量肝脏血管数据集中的噪声标签有效转化为有用的训练信号，而非性能下降的噪声？
• RQ2 如何将均值教师学习与自信学习结合，以提升像素级标签噪声场景下的分割性能？
• RQ3 在仅使用少量高质量数据的情况下，通过自去噪过程，能在多大程度上提升大规模低质量数据集的标注质量？
• RQ4 所提出的MTCL框架是否在肝脏血管分割任务中优于标准的半监督与全监督基线方法？

主要发现

• 所提出的MTCL框架在3DIRCADb数据集上取得了0.7245的Dice分数和7.2111的Hausdorff距离（HD），优于所有基线方法。
• 消融实验表明，若移除SSDM模块，Dice分数将下降0.0277，证实其在标签去噪中的关键作用。
• 使用经去噪处理的LQ标签与HQ数据联合训练，相比直接使用原始LQ标签，Dice分数提升7.67%，HD降低3.91%。
• 该方法在视觉效果上表现优越，显著减少了假阳性，并更准确地恢复了血管边界，如图3所示。
• 标签自去噪过程成功识别并修正了MSD8数据集中明显的标注错误，如图4所示。
• 该框架展现出强大的泛化能力，即使仅使用少量HQ数据，也能显著提升性能。