[论文解读] Polyp-PVT: Polyp Segmentation with Pyramid Vision Transformers

Bo Dong, Wenhai Wang+4 more|arXiv (Cornell University)|Aug 16, 2021

Advanced Neural Network Applications参考文献 120被引用 170

一句话总结

Polyp-PVT 引入一个带有三个附加模块（CFM、CIM、SAM）的金字塔视觉 Transformer 编码器，以改进息肉分割，在多个基准数据集上实现最先进或具有竞争力的 Dice 分数。

ABSTRACT

Most polyp segmentation methods use CNNs as their backbone, leading to two key issues when exchanging information between the encoder and decoder: 1) taking into account the differences in contribution between different-level features and 2) designing an effective mechanism for fusing these features. Unlike existing CNN-based methods, we adopt a transformer encoder, which learns more powerful and robust representations. In addition, considering the image acquisition influence and elusive properties of polyps, we introduce three standard modules, including a cascaded fusion module (CFM), a camouflage identification module (CIM), and a similarity aggregation module (SAM). Among these, the CFM is used to collect the semantic and location information of polyps from high-level features; the CIM is applied to capture polyp information disguised in low-level features, and the SAM extends the pixel features of the polyp area with high-level semantic position information to the entire polyp area, thereby effectively fusing cross-level features. The proposed model, named Polyp-PVT, effectively suppresses noises in the features and significantly improves their expressive capabilities. Extensive experiments on five widely adopted datasets show that the proposed model is more robust to various challenging situations (e.g., appearance changes, small objects, rotation) than existing representative methods. The proposed model is available at https://github.com/DengPingFan/Polyp-PVT.

研究动机与目标

• 解决 CNN 骨干在息肉分割的跨层特征融合中的局限性。
• 引入基于 Transformer 的编码器（PVT）以学习鲁棒的多尺度表示。
• 提出三个模块（CFM、CIM、SAM）以融合高层和低层特征并抑制噪声。
• 在五个具有挑战性的数据集上评估 Polyp-PVT，并与最先进方法进行比较。

提出的方法

• 采用 Pyramid Vision Transformer (PVTv2) 作为编码器，从输入图像中提取多尺度特征 X1–X4。
• 使用 Cascaded Fusion Module (CFM) 逐步融合高层特征并产生 T1。
• 通过通道和空间注意力，将低层特征 X1 提升为 T2。
• 引入 Similarity Aggregation Module (SAM)，结合非局部和图卷积操作，将 T1 与 T2 融合成最终特征 Z。
• 通过 1x1 卷积头进行分割预测；使用主损失（IoU + BCE）和用于中间输出的辅助损失进行训练。

实验结果

研究问题

• RQ1 在标准基准数据集上，Polyp-PVT 在息肉分割方面相较于基于 CNN 的骨干网有何表现？
• RQ2 CFM、CIM 和 SAM 对总体性能以及对挑战性条件（噪声、伪装、跨域数据）的鲁棒性有何贡献？
• RQ3 基于 Transformer 的编码器如何应对内镜图像中的外观变化、小息肉和旋转？

主要发现

• Polyp-PVT 在跨数据集上表现出色，例如在 Kvasir-SEG 上的 mDic 为 0.917，在 ClinicDB 上的 mDic 为 0.937。
• 在 ColonDB 上，Polyp-PVT 的 mDic 为 0.808，超出 SANet 的幅度（如报道所示）。
• 在 ETIS 上，Polyp-PVT 的 mDic 为 0.787，显著超越 SANet。
• 在 Endoscene 上，Polyp-PVT 的 mDic 为 0.900，mIoU 为 0.833，表明在具有挑战性条件下的稳健性能。
• 总体而言，Polyp-PVT 对外观变化、小物体和旋转具有鲁棒性，优于若干代表性基线，如 SANet 和 PraNet。