[论文解读] Understanding the effects of artifacts on automated polyp detection and incorporating that knowledge via learning without forgetting

Maxime Kayser, Roger D. Soberanis-Mukul+4 more|arXiv (Cornell University)|Feb 7, 2020

Colorectal Cancer Screening and Detection被引用 9

一句话总结

本文研究了六种内镜伪影（如气泡、高光和模糊）对基于深度学习的息肉检测的影响，发现部分伪影会损害检测性能，而另一些（如高光反射）反而可能提升检测效果。作者提出一种基于学习无遗忘（LwF）的多任务学习框架，同时检测息肉与伪影，显著提升了对伪影引起的误报的鲁棒性，但整体检测性能提升仍有限。

ABSTRACT

Survival rates for colorectal cancer are higher when polyps are detected at an early stage and can be removed before they develop into malignant tumors. Automated polyp detection, which is dominated by deep learning based methods, seeks to improve early detection of polyps. However, current efforts rely heavily on the size and quality of the training datasets. The quality of these datasets often suffers from various image artifacts that affect the visibility and hence, the detection rate. In this work, we conducted a systematic analysis to gain a better understanding of how artifacts affect automated polyp detection. We look at how six different artifact classes, and their location in an image, affect the performance of a RetinaNet based polyp detection model. We found that, depending on the artifact class, they can either benefit or harm the polyp detector. For instance, bubbles are often misclassified as polyps, while specular reflections inside of a polyp region can improve detection capabilities. We then investigated different strategies, such as a learning without forgetting framework, to leverage artifact knowledge to improve automated polyp detection. Our results show that such models can mitigate some of the harmful effects of artifacts, but require more work to significantly improve polyp detection capabilities.

研究动机与目标

• 系统分析不同内镜伪影对自动息肉检测性能的影响。
• 理解伪影（如气泡、高光和模糊）在空间位置和类别上的影响，及其对息肉检测模型的影响。
• 探究在息肉检测模型中引入伪影知识是否能提升检测的鲁棒性与准确性。
• 评估无遗忘学习（LwF）与多任务学习（MTL）策略在不降低息肉检测性能的前提下整合伪影表征的有效性。

提出的方法

• 使用预训练的EAD挑战模型在CVC-ClinicDB数据集中标注伪影，生成六类伪影的边界框级标注。
• 采用带有多任务学习头的RetinaNet架构训练息肉检测器，联合预测息肉与伪影，并使用基于LwF的蒸馏损失以保持原始息肉检测任务的性能。
• 实现一个双分类子网络并结合LwF，使模型在学习新伪影类别时仍能保持对原始息肉检测任务的准确性。
• 在训练过程中采用类别加权与阈值策略，以平衡息肉与伪影之间存在的显著类别不平衡问题。
• 通过结合伪影与息肉检测输出，采用不确定性感知推理来评估检测结果的可靠性。
• 使用F1分数、误报/漏报率以及不同阈值和配置下的伪影误分类率来评估模型性能。

实验结果

研究问题

• RQ1 不同类型的内镜伪影（如气泡、高光和模糊）如何影响基于深度学习的息肉检测模型性能？
• RQ2 伪影在图像中的空间位置是否会影响息肉检测性能？若影响，其影响机制是怎样的？
• RQ3 在检测息肉的同时学习识别伪影，是否能提升息肉检测模型的鲁棒性？
• RQ4 无遗忘学习（LwF）框架在整合伪影检测能力的同时，能在多大程度上保持息肉检测性能？
• RQ5 结合伪影表征的多任务学习是否能减少由气泡和模糊等伪影引起的误报？

主要发现

• 气泡和模糊伪影显著提高了误报率，气泡常被误分类为息肉。
• 位于息肉区域内的高光反射有时可提升检测性能，表明在某些情况下其具有积极作用。
• 基于LwF的多任务模型显著降低了与模糊伪影相关的误报，表明其伪影区分能力得到提升。
• 在选择四类伪影的MTL模型中，与气泡和高光相关的误报分别减少了40%和30%，相较于基线模型。
• 尽管在伪影相关鲁棒性方面有所改进，但息肉检测的整体F1分数未显著提升，最高仅为0.31（在伪影置信度阈值为0.4的高阈值下）。
• 模型在训练数据中伪影置信度阈值与最终息肉检测性能之间表现出强烈的负相关性，表明高伪影密度会损害学习效果。