[论文解读] Transformers in Medical Image Analysis: A Review

Kelei He, Gan Chen+8 more|arXiv (Cornell University)|Feb 24, 2022

Advanced Neural Network Applications被引用 60

一句话总结

对 Transformer 架构及其在医疗影像分析中的应用的全面综述，涵盖用于分类、分割、检测、配准、合成以及多模态学习的纯 Transformer 模型与混合 Transformer 模型，并讨论挑战与未来方向。

ABSTRACT

Transformers have dominated the field of natural language processing, and recently impacted the computer vision area. In the field of medical image analysis, Transformers have also been successfully applied to full-stack clinical applications, including image synthesis/reconstruction, registration, segmentation, detection, and diagnosis. Our paper aims to promote awareness and application of Transformers in the field of medical image analysis. Specifically, we first overview the core concepts of the attention mechanism built into Transformers and other basic components. Second, we review various Transformer architectures tailored for medical image applications and discuss their limitations. Within this review, we investigate key challenges revolving around the use of Transformers in different learning paradigms, improving the model efficiency, and their coupling with other techniques. We hope this review can give a comprehensive picture of Transformers to the readers in the field of medical image analysis.

研究动机与目标

• 提供对 Transformer 基础及其在视觉与医疗影像中的演变的全面概述。
• 调研为医疗影像任务定制的基于 Transformer 的架构并识别其局限性。
• 讨论学习范式（弱监督、多任务、多模态）以及效率与可解释性设计方面的考量。
• 突出医疗影像中数据稀缺、计算需求以及与其他技术结合的挑战。
• 为基于 Transformer 的医疗影像分析未来的研究方向提供指南。

提出的方法

• 利用方程式解释核心 Transformer 组件与自注意力机制以及多头注意力。
• 总结 Vision Transformer (ViT)、DETR、DeiT、Swin-Transformer 及相关变体在医疗影像中的应用。
• 将医疗影像应用归类为分类、分割、合成/翻译、检测、配准和视频分析，涵盖纯 Transformer 与混合方法（CNN/ViT、基于图的方法）。
• 讨论学习范式与效率策略（预训练、蒸馏、窗口化注意力、Linformer 等）。
• 对文献进行综合综述（超过 170 种基于 Transformer 的方法），并与卷积神经网络方法进行比较。

实验结果

研究问题

• RQ1 在医疗影像分析中，哪些是核心的 Transformer 机制与相关的架构变体？
• RQ2 Transformer 模型如何在不同的医疗影像任务（分类、分割、检测、合成、配准）中被改编（纯 vs 混合）？
• RQ3 在将 Transformer 应用于医学影像时，面临的关键挑战与局限性是什么，如何提升效率与可解释性？
• RQ4 如弱监督、多任务和多模态学习等学习范式如何在该领域与 Transformer 架构互动？
• RQ5 哪些未来方向可以推进 Transformer 在临床医学影像任务中的应用与性能？

主要发现

• Transformer 已被应用到包括分类、分割、检测、合成与配准在内的广泛医疗影像任务。
• 将卷积网络或图表示与 Transformer 结合的混合架构很常见，在数据有限的情况下可在医学影像中超越纯 ViT。
• 预训练和数据高效策略（如 DeiT、补丁大小考量、蒸馏）对于医学影像的性能至关重要。
• 基于注意力的及窗口化/自注意力变种（如 Swin-Transformer、Linformer 的改造）有助于降低大尺寸医疗影像的计算成本。
• 应用覆盖多种模态（X 阶、CT、MRI、超声、病理切片）与多种任务，许多研究在特定场景中报告的结果与 CNN 基线相比具有竞争力甚至更优。