[论文解读] Retina U-Net: Embarrassingly Simple Exploitation of Segmentation Supervision for Medical Object Detection

Paul F. Jaeger, Simon Köhl+5 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Neural Network Applications参考文献 22被引用 99

一句话总结

Retina U-Net 在基于 RetinaNet 的单阶段检测器中通过扩展自上而下路径至高分辨率层来添加完整语义分割监督，从而在医疗图像中实现端到端对象评分并在数据有限时提升检测。

ABSTRACT

The task of localizing and categorizing objects in medical images often remains formulated as a semantic segmentation problem. This approach, however, only indirectly solves the coarse localization task by predicting pixel-level scores, requiring ad-hoc heuristics when mapping back to object-level scores. State-of-the-art object detectors on the other hand, allow for individual object scoring in an end-to-end fashion, while ironically trading in the ability to exploit the full pixel-wise supervision signal. This can be particularly disadvantageous in the setting of medical image analysis, where data sets are notoriously small. In this paper, we propose Retina U-Net, a simple architecture, which naturally fuses the Retina Net one-stage detector with the U-Net architecture widely used for semantic segmentation in medical images. The proposed architecture recaptures discarded supervision signals by complementing object detection with an auxiliary task in the form of semantic segmentation without introducing the additional complexity of previously proposed two-stage detectors. We evaluate the importance of full segmentation supervision on two medical data sets, provide an in-depth analysis on a series of toy experiments and show how the corresponding performance gain grows in the limit of small data sets. Retina U-Net yields strong detection performance only reached by its more complex two-staged counterparts. Our framework including all methods implemented for operation on 2D and 3D images is available at github.com/pfjaeger/medicaldetectiontoolkit.

研究动机与目标

• 推动改进的医疗对象检测，充分利用像素级分割监督。
• 提出一个简单的端到端架构，将单阶段检测与分割信号融合。
• 在二维/三维医疗数据集上评估该方法，并分析数据效率与鲁棒性。
• 提供关于通过加权框聚类对多次预测进行聚合的实用指导。

提出的方法

• 将 Retina Net 作为基础单阶段检测器，使用适应于小医疗对象的 FPN 特征（从 P2–P5 移动）。
• 通过在自上而下路径中增加高分辨率层 P1 和 P0 来学习完整的语义分割（U-FPN）。
• 使用包含像素级交叉熵和分割输出的软 Dice 损失的组合损失进行训练。
• 保留粗粒度金字塔层的检测头，同时通过 P0 逻辑向量实现分割监督（辅助任务）。
• 引入 Weighted Box Clustering 将来自集成/切片的多次预测融合为鲁棒的对象级检测（等式 2）。
• 进行广泛的二维和三维实验，并与单阶段和两阶段检测器进行对比，包括消融研究。

实验结果

研究问题

• RQ1 在单阶段检测器中利用完整分割监督是否能提升医疗影像的对象检测性能？
• RQ2 在二维和三维医疗数据集上，尤其是在训练数据有限时，Retina U-Net 与标准的单阶段和两阶段检测器相比有何差异？
• RQ3 在小数据情境下，完整分割监督对检测有何影响，以及如何在不同视图之间鲁棒地合并预测？
• RQ4 一个简单、可解释的架构能否在医疗场景中达到更复杂的两阶段检测器的性能？

主要发现

• 与仅用于分割的基线和无完整分割监督的竞争对手相比，Retina U-Net 具有更优的检测性能。
• 在两个医疗数据集（肺部 CT 和乳腺扩散 MRI）上，Retina U-Net 达到或接近最佳的两阶段基线，同时保持结构简单。
• 完整的分割监督在小数据情境下具有显著优势，通过对形状、模式和尺度的 toy 实验得到证明。
• WBC 算法中的加权策略优于标准 NMS 在多视图预测的整合，提升最终对象分数。
• 在某些设定下三维上下文有帮助，但高度各向异性的数据显示，完整三维上下文的收益可能较小，反映数据集特征。