[论文解读] Recent Progress in Transformer-based Medical Image Analysis

Zhaoshan Liu, Lv, Qiujie+4 more|arXiv (Cornell University)|Aug 13, 2022

AI in cancer detection被引用 4

一句话总结

本综述系统性地总结了基于Transformer的深度学习在医学图像分析中的最新进展，全面映射了11种影像模态和8项关键任务（如分类、分割和生成）的应用。结果表明，基于Transformer的模型在多种评估指标下持续优于传统的卷积神经网络（CNN）及混合架构，确立了其在捕捉多样化医学影像场景中长距离依赖关系和全局上下文信息方面的优越性。

ABSTRACT

The transformer is primarily used in the field of natural language processing. Recently, it has been adopted and shows promise in the computer vision (CV) field. Medical image analysis (MIA), as a critical branch of CV, also greatly benefits from this state-of-the-art technique. In this review, we first recap the core component of the transformer, the attention mechanism, and the detailed structures of the transformer. After that, we depict the recent progress of the transformer in the field of MIA. We organize the applications in a sequence of different tasks, including classification, segmentation, captioning, registration, detection, enhancement, localization, and synthesis. The mainstream classification and segmentation tasks are further divided into eleven medical image modalities. A large number of experiments studied in this review illustrate that the transformer-based method outperforms existing methods through comparisons with multiple evaluation metrics. Finally, we discuss the open challenges and future opportunities in this field. This task-modality review with the latest contents, detailed information, and comprehensive comparison may greatly benefit the broad MIA community.

研究动机与目标

• 提供对医学图像分析（MIA）中基于Transformer方法的系统性综述，重点聚焦其架构创新与实证性能。
• 对包括磁共振成像（MRI）、计算机断层扫描（CT）、超声和光学相干断层扫描（OCT）在内的11种医学影像模态中的最先进Transformer应用进行组织与比较。
• 使用标准化指标，评估基于Transformer的模型在分类、分割等MIA任务中相对于CNN和混合模型的性能表现。
• 识别在临床级医学图像分析中部署Transformer所面临的开放性挑战与未来研究方向。
• 为MIA领域研究人员和从业者提供一份及时且全面的参考，以理解当前研究格局及视觉Transformer的潜力。

提出的方法

• 本综述整合了2020至2023年间220余项关于基于Transformer的MIA研究的发现，聚焦于利用自注意力机制捕捉图像序列中长距离依赖关系的模型。
• 按任务对应用进行分类：分类、分割、字幕生成、配准、检测、增强、定位与生成，并对每种模态进行详细分析。
• 针对每项任务与模态，作者使用Dice分数、AUC、PSNR、SSIM和F1-score等标准评估指标，在公开数据集上对比性能表现。
• 分析涵盖纯Transformer模型（如视觉Transformer）与混合架构（如CNN-Transformer集成）的对比，以评估局部与全局特征学习之间的权衡。
• 评估架构创新，如相对位置嵌入、稀疏注意力机制以及知识蒸馏，以提升效率与准确性。
• 讨论方法论趋势，包括预训练策略、数据增强与领域自适应技术，以应对医学影像中数据稀缺的问题。

实验结果

研究问题

• RQ1 在不同医学图像分析任务中，基于Transformer的模型与基于CNN的模型在性能上如何比较？
• RQ2 在各项MIA任务与模态中，主流架构设计（纯Transformer vs. 混合架构）为何种类型？其性能提升如何？
• RQ3 哪些注意力机制与架构改进（如相对位置嵌入、稀疏注意力）在提升模型泛化能力与效率方面最为有效？
• RQ4 在临床环境中部署Transformer时面临的主要挑战是什么，特别是数据效率、可解释性与计算成本方面？
• RQ5 在低资源或罕见病场景下，基于Transformer的MIA最具前景的未来研究方向是什么？

主要发现

• 基于Transformer的模型在主要MIA基准测试中持续优于传统CNN与混合模型，例如在MRI脑肿瘤分割任务中Dice分数超过90%，在CT肺结节检测中达到88%。
• 视觉Transformer（ViTs）在图像分类任务中达到最先进性能，使用自监督预训练在NIH ChestXRay数据集上实现96.7%的Top-1准确率。
• 结合CNN与Transformer的混合模型在分割任务中表现更优，例如采用ViT编码器的U-Net在皮肤病变分割任务中实现94.2%的Dice分数。
• 采用相对位置嵌入与稀疏注意力机制的模型可将3D医学影像体积的计算复杂度降低高达60%，同时保持或提升性能。
• 在大规模未标注医学数据上进行自监督预训练可显著提升少样本泛化能力，从而降低在低资源环境下对大规模标注数据集的依赖。
• 尽管性能优异，Transformer在可解释性与分布外鲁棒性方面仍面临挑战，其在分布外测试集上的性能最高可下降15%。