[论文解读] Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection

Arshi Parvaiz, Muhammad Anwaar Khalid+4 more|arXiv (Cornell University)|Mar 29, 2022

COVID-19 diagnosis using AI被引用 6

一句话总结

本文对医学计算机视觉中的视觉变换器（ViTs）进行了全面的回顾性综述，分析了其在疾病分类、分割、病灶检测以及多模态图像重建中的应用。文章强调了自注意力机制在捕捉长距离依赖关系方面的作用，回顾了关键数据集和性能指标，并指出了该领域面临的挑战及未来研究方向。

ABSTRACT

Recent escalation in the field of computer vision underpins a huddle of algorithms with the magnificent potential to unravel the information contained within images. These computer vision algorithms are being practised in medical image analysis and are transfiguring the perception and interpretation of Imaging data. Among these algorithms, Vision Transformers are evolved as one of the most contemporary and dominant architectures that are being used in the field of computer vision. These are immensely utilized by a plenty of researchers to perform new as well as former experiments. Here, in this article we investigate the intersection of Vision Transformers and Medical images and proffered an overview of various ViTs based frameworks that are being used by different researchers in order to decipher the obstacles in Medical Computer Vision. We surveyed the application of Vision transformers in different areas of medical computer vision such as image-based disease classification, anatomical structure segmentation, registration, region-based lesion Detection, captioning, report generation, reconstruction using multiple medical imaging modalities that greatly assist in medical diagnosis and hence treatment process. Along with this, we also demystify several imaging modalities used in Medical Computer Vision. Moreover, to get more insight and deeper understanding, self-attention mechanism of transformers is also explained briefly. Conclusively, we also put some light on available data sets, adopted methodology, their performance measures, challenges and their solutions in form of discussion. We hope that this review article will open future directions for researchers in medical computer vision.

研究动机与目标

• 考察视觉变换器在多样化临床任务中的医学图像分析整合与影响。
• 系统性地概述用于医学计算机视觉的基于ViT的框架，包括其架构与性能表现。
• 分析自注意力机制在ViTs中对捕捉医学图像复杂空间依赖关系的作用。
• 评估基于ViT的医学影像研究中使用的现有数据集、方法论与性能指标。
• 识别持续存在的挑战，并提出将ViTs应用于临床影像的未来研究方向。

提出的方法

• 系统性调查应用于医学计算机视觉的视觉变换器架构，包括ViT、Swin Transformer和Swin-Unet。
• 分析自注意力机制作为核心组件在医学图像中实现长距离特征建模的作用。
• 将ViT应用分类为图像分类、分割、检测、报告生成以及多模态重建。
• 回顾常用医学影像模态（如MRI、CT、X光和PET）及其与ViTs的整合方式。
• 综合分析各研究中报告的性能指标（如准确率、Dice分数、AUC）以评估模型有效性。
• 讨论在医学影像中部署ViT时面临的数据稀缺性、领域偏移和可解释性挑战。

实验结果

研究问题

• RQ1 视觉变换器在不同医学图像分析任务中是如何被适应和应用的？
• RQ2 哪些关键架构组件和注意力机制使ViTs在医学影像中表现优异？
• RQ3 在医学影像基准测试中，基于ViT的模型与传统CNN相比在性能和泛化能力方面有何差异？
• RQ4 在临床环境中部署ViT时面临的主要挑战是什么，当前如何应对？
• RQ5 当前基于ViT的医学计算机视觉应用中，正在浮现哪些未来研究方向？

主要发现

• 视觉变换器在医学图像分类中表现出色，在多个基准数据集中达到了最先进水平。
• 基于ViT的模型，特别是Swin-Unet，在解剖结构和病灶分割方面表现出优越的准确性，部分研究中Dice分数超过0.85。
• 利用ViTs进行多模态融合，通过整合MRI、CT和PET扫描信息，提高了诊断准确性。
• 自注意力机制能够有效建模长距离空间依赖关系，这对检测医学图像中细微的病理变化至关重要。
• 尽管性能优异，但数据稀缺性、模型可解释性以及领域偏移等问题仍是临床应用的主要障碍。
• 本综述识别出向混合模型和高效ViT变体发展的趋势，以提升低数据场景下的计算效率和泛化能力。