[论文解读] Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

Jun Li, Junyu Chen+4 more|arXiv (Cornell University)|Jun 2, 2022

Radiomics and Machine Learning in Medical Imaging被引用 20

一句话总结

这篇论文概述基于 Vision Transformer 的在医学影像中的方法，将其与 CNNs/RNNs 进行对比，并按 Transformer 的属性和跨分割、识别、检测、配准、重建与增强的混合体系结构对方法进行分类。

ABSTRACT

Transformer, the latest technological advance of deep learning, has gained prevalence in natural language processing or computer vision. Since medical imaging bear some resemblance to computer vision, it is natural to inquire about the status quo of Transformers in medical imaging and ask the question: can the Transformer models transform medical imaging? In this paper, we attempt to make a response to the inquiry. After a brief introduction of the fundamentals of Transformers, especially in comparison with convolutional neural networks (CNNs), and highlighting key defining properties that characterize the Transformers, we offer a comprehensive review of the state-of-the-art Transformer-based approaches for medical imaging and exhibit current research progresses made in the areas of medical image segmentation, recognition, detection, registration, reconstruction, enhancement, etc. In particular, what distinguishes our review lies in its organization based on the Transformer's key defining properties, which are mostly derived from comparing the Transformer and CNN, and its type of architecture, which specifies the manner in which the Transformer and CNN are combined, all helping the readers to best understand the rationale behind the reviewed approaches. We conclude with discussions of future perspectives.

研究动机与目标

• 激励研究 Transformer 模型在医学影像中的应用，并将其与 CNN/RNN 基线进行比较。
• 给出一个基于属性的 Transformer 医学影像方法分类。
• 调查在关键任务上的最新方法：分割、识别、检测、配准、重建和增强。
• 突出 Transformer-CNN 混合在医学影像中的优点、局限性和设计选择。
• 讨论将 Transformer 应用于医学影像的未来展望与尚待解决的挑战。

提出的方法

• 解释 Transformer 的基本原理和关键属性，包括自注意力、多头自注意力，以及 Vision Transformer 流程。
• 描述基于补丁的标记化、补丁嵌入和位置嵌入（正弦、可学习、相对）。
• 给出结合 CNN 与 Transformers 的分类法（类似卷积的、类似 Transformer 的 CNN、卷积-Transformer 混合）。
• 调查医学影像模型中的结构设计选择，如补丁大小、3D 与 2D，以及混合编码器/解码器配置。
• 讨论损失景观、归纳偏置和对噪声鲁棒性对基于 Transformer 的模型的影响。

实验结果

研究问题

• RQ1 就能力和局限性而言，基于 Vision Transformer 的模型与 CNN/RNN 在医学影像分析中的比较？
• RQ2 在主要医学影像任务（分割、识别、检测、配准、重建、增强）上，基于 Transformer 的架构有哪些进展？
• RQ3 对于不同模态和任务，哪些架构模式（纯 Transformer、CNN-Transformer 混合）最有效？
• RQ4 关键挑战（数据需求、归纳偏置、计算需求）以及在医学影像中 Transformer 的未来方向？

主要发现

• Transformer 提供较大的有效感受野，从而更好建模医学影像中的长程依赖。
• Transformer 可以在某些训练条件下提供平坦的损失景观、潜在的更好泛化。
• 混合 CNN-Transformer 架构普遍且常有效，结合局部特征提取与全局上下文。
• 相较于 CNN，Transformer 归纳偏置较弱，通常需要更大的数据集或强预训练。
• 已提出各种 3D/2D transformer 基模型用于分割、识别等任务，包括 Conv-Transformer 混合和基于补丁的方法。
• 该综述按核心 Transformer 属性和架构类型对方法进行组织，以帮助理解设计原理。