[论文解读] Video Polyp Segmentation: A Deep Learning Perspective

Ge-Peng Ji, Guobao Xiao+5 more|arXiv (Cornell University)|Mar 27, 2022

Colorectal Cancer Screening and Detection被引用 4

一句话总结

本文提出了SUN-SEG，一个大规模视频息肉分割（VPS）数据集，包含多样化的标注（掩码、边界、涂鸦、多边形、属性），并提出PNS+，一种轻量级深度学习模型，采用从全局到局部的编码方式，结合归一化自注意力机制，以捕捉长时序和短时序的空间-时间依赖关系。PNS+在SUN-SEG基准上实现了170 FPS的推理速度，达到最先进性能，为实时、高精度的VPS设立了新标准。

ABSTRACT

We present the first comprehensive video polyp segmentation (VPS) study in the deep learning era. Over the years, developments in VPS are not moving forward with ease due to the lack of large-scale fine-grained segmentation annotations. To address this issue, we first introduce a high-quality frame-by-frame annotated VPS dataset, named SUN-SEG, which contains 158,690 colonoscopy frames from the well-known SUN-database. We provide additional annotations with diverse types, i.e., attribute, object mask, boundary, scribble, and polygon. Second, we design a simple but efficient baseline, dubbed PNS+, consisting of a global encoder, a local encoder, and normalized self-attention (NS) blocks. The global and local encoders receive an anchor frame and multiple successive frames to extract long-term and short-term spatial-temporal representations, which are then progressively updated by two NS blocks. Extensive experiments show that PNS+ achieves the best performance and real-time inference speed (170fps), making it a promising solution for the VPS task. Third, we extensively evaluate 13 representative polyp/object segmentation models on our SUN-SEG dataset and provide attribute-based comparisons. Finally, we discuss several open issues and suggest possible research directions for the VPS community.

研究动机与目标

• 为解决缺乏大规模、精细标注的视频息肉分割数据集的问题，创建包含158,690帧级标注的SUN-SEG数据集。
• 开发一种鲁棒且实时的VPS基线模型，有效捕捉长时序与短时序的空间-时间依赖关系。
• 建立首个全面的基准，评估13种最先进息肉与目标分割模型在新SUN-SEG数据集上的表现。
• 识别在真实结肠镜条件下VPS存在的持续性挑战，并提出未来研究方向。

提出的方法

• 提出一种从全局到局部的学习范式：全局编码器处理参考帧，而局部编码器处理后续帧，以提取长时序与短时序的空间-时间特征。
• 引入归一化自注意力（NS）模块，通过动态关注特征中的空间与时间线索，对特征表示进行精细化调整。
• 采用多流架构，将全局与局部编码器的特征在融合后通过两个NS模块进行渐进式优化。
• 采用简单但高效的架构设计，使用共享主干网络与轻量级注意力模块，确保实时推理（170 FPS）。
• 在SUN-SEG数据集中利用五类标注——属性、目标掩码、边界、涂鸦与多边形，以支持多样化的下游任务。
• 在13种模型上开展广泛的消融实验与对比研究，评估在各种挑战性属性（如HO、LO、SV、FM、OV）下的性能表现。

实验结果

研究问题

• RQ1 如何构建一个大规模、多标注的视频息肉分割数据集，以支持多样化的医疗AI任务？
• RQ2 在实时、高精度视频息肉分割中，最优的模型架构设计应如何实现，以同时建模长时序与短时序时间依赖？
• RQ3 现有最先进息肉分割模型在如遮挡、低对比度与镜面反光等挑战性结肠镜条件下的表现如何？
• RQ4 当前VPS模型的关键失败模式是什么？如何系统性地诊断并加以解决？
• RQ5 在临床环境中推进鲁棒、可信且保护隐私的VPS，未来最具前景的研究方向是什么？

主要发现

• PNS+在SUN-SEG数据集上表现最佳，超越13种竞争模型，在多个评估指标上均取得领先。
• 该模型实现了170 FPS的实时推理速度，适用于内镜系统中的临床部署。
• 模型在HO（高度不规则形状）、LO（低对比度）和SV（小尺寸）等困难属性上表现持续不佳，表明需要更优的特征学习能力。
• 在手术器械与光学耀斑区域出现大量假阳性和假阴性，凸显了语义理解能力与息肉特异性表征学习的局限性。
• 缺乏时间建模导致在遮挡情况（如OV、OC）下性能下降，表明需要更强的视频级推理能力。
• 该基准揭示，当前SOTA模型在最具挑战性的SUN-SEG-Hard子集上的敏感度仍低于0.63，表明仍有巨大提升空间。