[论文解读] UGCANet: A Unified Global Context-Aware Transformer-based Network with Feature Alignment for Endoscopic Image Analysis

Pham Vu Hung, Nguyen Duy Manh+3 more|arXiv (Cornell University)|Jul 12, 2023

Colorectal Cancer Screening and Detection被引用 5

一句话总结

本文提出 UGCANet，一种基于 Transformer 的统一深度学习模型，通过将全局上下文感知模块与通道注意力机制结合（采用 CGNL 和 SE 模块），在上消化道和结肠镜图像数据集上实现了同时进行病灶与息肉分割及分类任务的最先进性能。

ABSTRACT

Gastrointestinal endoscopy is a medical procedure that utilizes a flexible tube equipped with a camera and other instruments to examine the digestive tract. This minimally invasive technique allows for diagnosing and managing various gastrointestinal conditions, including inflammatory bowel disease, gastrointestinal bleeding, and colon cancer. The early detection and identification of lesions in the upper gastrointestinal tract and the identification of malignant polyps that may pose a risk of cancer development are critical components of gastrointestinal endoscopy's diagnostic and therapeutic applications. Therefore, enhancing the detection rates of gastrointestinal disorders can significantly improve a patient's prognosis by increasing the likelihood of timely medical intervention, which may prolong the patient's lifespan and improve overall health outcomes. This paper presents a novel Transformer-based deep neural network designed to perform multiple tasks simultaneously, thereby enabling accurate identification of both upper gastrointestinal tract lesions and colon polyps. Our approach proposes a unique global context-aware module and leverages the powerful MiT backbone, along with a feature alignment block, to enhance the network's representation capability. This novel design leads to a significant improvement in performance across various endoscopic diagnosis tasks. Extensive experiments demonstrate the superior performance of our method compared to other state-of-the-art approaches.

研究动机与目标

• 为解决现有 MiT 主干网络在捕捉内镜图像中的全局上下文和通道关系方面的局限性。
• 通过增强特征组之间的通道注意力机制，改进深度网络中的表征学习。
• 开发一种统一模型，能够同时完成胃肠道内镜中的多任务学习（分割与分类）。
• 在上消化道病变与结肠息肉分析的标准数据集上，相比最先进方法，实现更优性能。

提出的方法

• 提出一种新颖的全局上下文感知模块，利用分组通道注意力（CGNL）来建模特征组内的通道间关系。
• 引入挤压-激励（SE）模块，以连接并增强通道组之间的关系，从而提升特征表征能力。
• 将 MiT-B2/B3 主干网络与 FaPN 解码器结合，实现特征金字塔融合，支持多尺度上下文聚合。
• 使用全连接层处理高层特征，用于分类头，实现分割与分类的联合预测。
• 采用统一架构实现多任务学习，共享分割与分类头之间的特征，以提升泛化能力。
• 通过 FaPN 解码器实现特征对齐，以在编码器-解码器路径中保留空间与通道维度的信息。

实验结果

研究问题

• RQ1 统一的基于 Transformer 的架构能否同时提升内镜图像分析中的分割与分类性能？
• RQ2 引入分组通道注意力（CGNL）与挤压-激励（SE）模块如何增强 MiT 主干网络中的特征表征？
• RQ3 与单任务基线相比，多任务学习对分割与分类准确率的影响如何？
• RQ4 所提出的 UGCANet 架构在标准内镜数据集上与最先进模型相比表现如何？
• RQ5 与标准解码器相比，FaPN 解码器在降低计算成本的同时，对性能的提升程度如何？

主要发现

• 在 Kvasir 数据集上，UGCANet 搭载 MiT-B3 主干网络的平均 Dice 分数达到 0.517 ± 0.007，优于所有基线模型，包括 SegFormer-B3 和 U-Net。
• 在 CVC-ClinicDB 数据集上，UGCANet 的 Dice 分数为 0.943 ± 0.008，IOU 为 0.896 ± 0.008，相比基线 MiT-B3-FaPN 提升了 1.5%。
• 在分类任务中，UGCANet 在上消化道数据集上达到 98.46% ± 0.41% 的准确率，超过 ResNet50 和 DenseNet121。
• 消融实验表明，结合 CGNL 与 SE 模块在息肉与上消化道数据集上均使 mDice 提升 1%-2%。
• UGCANet 的多任务学习优于单任务基线，尤其在息肉分割任务上，CVC-T 数据集上的 mDice 提升了 2.3%。
• FaPN 解码器在降低 GFLOPs 与参数量的同时，使 mDice 提升 0.011，相比 SegFormer-B3，展现出更高的效率与有效性。