[论文解读] Unsupervised Brain Anomaly Detection and Segmentation with Transformers

Walter Hugo Lopez Pinaya, Petru-Daniel Tudosiu+5 more|arXiv (Cornell University)|Feb 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 31

一句话总结

本文提出一种基于VQ-VAE获得离散潜编码、并结合自回归Transformer（Performer）集合来建模健康脑分布的无监督脑MRI异常检测与分割方法，实现异常修复（in-painting）与基于残差的分割，在合成及真实数据集上达到最新性能。

ABSTRACT

Pathological brain appearances may be so heterogeneous as to be intelligible only as anomalies, defined by their deviation from normality rather than any specific pathological characteristic. Amongst the hardest tasks in medical imaging, detecting such anomalies requires models of the normal brain that combine compactness with the expressivity of the complex, long-range interactions that characterise its structural organisation. These are requirements transformers have arguably greater potential to satisfy than other current candidate architectures, but their application has been inhibited by their demands on data and computational resource. Here we combine the latent representation of vector quantised variational autoencoders with an ensemble of autoregressive transformers to enable unsupervised anomaly detection and segmentation defined by deviation from healthy brain imaging data, achievable at low computational cost, within relative modest data regimes. We compare our method to current state-of-the-art approaches across a series of experiments involving synthetic and real pathological lesions. On real lesions, we train our models on 15,000 radiologically normal participants from UK Biobank, and evaluate performance on four different brain MR datasets with small vessel disease, demyelinating lesions, and tumours. We demonstrate superior anomaly detection performance both image-wise and pixel-wise, achievable without post-processing. These results draw attention to the potential of transformers in this most challenging of imaging tasks.

研究动机与目标

• 通过学习健康脑分布，开发一个完全无监督的框架来检测和分割脑部异常。
• 利用离散潜在空间（VQ-VAE）以实现对脑部图像的高效Transformer建模。
• 通过使用多种潜在空间序列的Transformer集合来改进异常分割与检测。

提出的方法

• 将脑部MRI压缩到离散潜在空间通过VQ-VAE以获得 z_q，具有紧凑的二维到序列表示。
• 在潜在编码上训练自回归Transformer（Performer）集合，以学习 p(s_i|s_<i) 并建模健康数据的分布。
• 通过对低似然的潜在编码进行阈值化来识别异常，并用Transformer采样的值进行修复以生成治愈图像。
• 计算原始图像与治愈图像之间的逐像素残差 |x - x_hat'| 并阈值以获得异常分割。
• 通过从潜在空间的异常位置推导的重采样蒙版对残差进行掩蔽并放大至图像分辨率，以纳入空间信息。
• 通过使用八种不同的潜在空间序列（栅格、翻转、旋转）的Transformer集合来提升鲁棒性，并通过均值聚合残差。

实验结果

研究问题

• RQ1 在VQ-VAE学习的离散潜在空间上应用无监督Transformer，是否可以在没有病理标签数据的情况下准确地检测和分割脑部异常？
• RQ2 具有多样化潜在空间序列的自回归Transformer集合，是否优于单一序列在异常检测与分割上的表现？
• RQ3 将潜在空间重采样掩膜引入对高频脑区异常残差的特异性有何影响？
• RQ4 与最先进自编码器相比，该方法在真实病理数据（WMH、MS病灶、BRATS）上的表现如何？

主要发现

• 在合成数据上，结合潜在空间掩蔽和多序列的完整方法在栅格序列下实现最高分割Dice（可达到的最佳）0.895；没有排序集合时为0.768（去除集合的对照）。
• 合成数据上的图像级异常检测显示强烈的OOD检测，近似OOD AUROC为0.921（使用通用VQ-VAE时为0.932），远OOD AUROC为1.000。
• 在真实的UK Biobank及其他数据集上，所提方法在异常分割方面优于最先进的自编码器（如UKB:0.232, MSLUB:0.378, BRATS:0.759, WMH:0.429）。
• 使用八种序列的集合相较单一序列基线有显著改进，栅格序列集合实现了最佳的合成数据分割Dice。
• 用重采样掩膜对残差进行掩蔽可减少高频区域的误标记，提高分割的可靠性。