[论文解读] Vision Transformers in Medical Imaging: A Review

Emerald U. Henry, Onyeka Emebob+1 more|arXiv (Cornell University)|Nov 18, 2022

Brain Tumor Detection and Classification被引用 34

一句话总结

对视觉变换器在医学影像中的应用进行全面综述，比较基于变换器的方法与 CNN 在分类、分割、配准和重建方面的性能。

ABSTRACT

Transformer, a model comprising attention-based encoder-decoder architecture, have gained prevalence in the field of natural language processing (NLP) and recently influenced the computer vision (CV) space. The similarities between computer vision and medical imaging, reviewed the question among researchers if the impact of transformers on computer vision be translated to medical imaging? In this paper, we attempt to provide a comprehensive and recent review on the application of transformers in medical imaging by; describing the transformer model comparing it with a diversity of convolutional neural networks (CNNs), detailing the transformer based approaches for medical image classification, segmentation, registration and reconstruction with a focus on the image modality, comparing the performance of state-of-the-art transformer architectures to best performing CNNs on standard medical datasets.

研究动机与目标

• 评估变换器模型如何适应医学影像分析。
• 在标准数据集上将基于变换器的方法与 CNN 基线进行比较。
• 详细介绍变换器在分类、分割、配准和重建中的应用。
• 突出用于评估的影像模态和数据集。

提出的方法

• 描述变换器架构并在医学影像背景下与 CNN 进行对比。
• 概述基于变换器的分类、分割、配准和重建方法。
• 回顾影像模态（如 MRI、CT 等）及用于基准测试的标准医学数据集。
• 比较最先进的变换器在标准数据集上的性能与最佳 CNN 的相比。

实验结果

研究问题

• RQ1 视觉变换器在标准医学影像任务中的表现相对于 CNN 如何？
• RQ2 最常用于评估视觉变换器的医学影像模态与数据集有哪些？
• RQ3 在医学影像中的分类、分割、配准和重建方面，基于变换器的方法的优点与局限性是什么？

主要发现

• 在医学影像中对分类、分割、配准和重建进行了变换器的评估。
• 将最先进的变换器架构与标准数据集上的 CNN 进行比较。
• 综述强调用于基准测试变换器性能的模态和数据集。