[论文解读] Multiscale Metamorphic VAE for 3D Brain MRI Synthesis

Jaivardhan Kapoor, Jakob H. Macke+1 more|arXiv (Cornell University)|Jan 9, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种用于3D脑部MRI合成的多尺度变形变分自编码器（M³AE），通过在固定解剖模板上应用可组合的多尺度微分同胚变换与强度变换，生成高保真度的MRI体素。该方法在保持解耦且可解释的潜在空间的同时，实现了最先进的FID分数，显著优于以往的VAE与GAN方法在分布覆盖范围与解剖保真度方面的表现。

ABSTRACT

Generative modeling of 3D brain MRIs presents difficulties in achieving high visual fidelity while ensuring sufficient coverage of the data distribution. In this work, we propose to address this challenge with composable, multiscale morphological transformations in a variational autoencoder (VAE) framework. These transformations are applied to a chosen reference brain image to generate MRI volumes, equipping the model with strong anatomical inductive biases. We structure the VAE latent space in a way such that the model covers the data distribution sufficiently well. We show substantial performance improvements in FID while retaining comparable, or superior, reconstruction quality compared to prior work based on VAEs and generative adversarial networks (GANs).

研究动机与目标

• 为解决生成具有足够数据分布覆盖范围的高保真度3D脑部MRI的挑战。
• 在变分自编码器框架中引入强解剖归纳偏置，以提升生成建模性能。
• 在保持重建质量的同时，实现可解耦且可操作的潜在空间，以支持下游分析。
• 将基于形态变换的合成方法从2D扩展至3D MRI体素，实现多尺度组合。
• 克服GAN（如模式崩溃、缺乏潜在空间）与VAE（如输出模糊）在3D脑部MRI生成中的局限性。

提出的方法

• 该模型使用变分自编码器，并以固定参考脑模板作为生成的基础图像。
• 将生成过程分解为两个解码器：一个用于微分同胚形变场（ϕ），另一个用于加法性强度变换（A）。
• 变换以粗到精的多尺度级联方式应用，每一级分辨率加倍，实现分层细化。
• 最终输出通过组合变换形成：M(T|ϕ,A) = (T + A) ∘ ϕ，最后一级为纯强度变换。
• 损失函数结合ELBO与针对形变场和强度图的尺度特定正则化项，包括平滑性与散度约束。
• 使用AdamW进行训练，学习率为0.0003，推理时从标准正态分布采样潜在向量。

Figure 1 : Description of the proposed M 3 AE model. The decoder consists of two separate backbones Decoder ϕ and Decoder A that output diffeomorphic deformation fields and additive intensity transformations, respectively. These transformations are composed from coarse-to-fine scales that increase b

实验结果

研究问题

• RQ1 与标准VAE和GAN相比，多尺度、可组合的形态变换是否能提升3D脑部MRI合成的保真度与分布覆盖范围？
• RQ2 使用固定解剖模板结合形变与强度变换，是否能提升生成MRI体素的解剖一致性？
• RQ3 在基于VAE的3D MRI生成器中，能否在实现高保真输出的同时保持可解耦的潜在空间？
• RQ4 在FID、SSIM、PSNR与MSE指标上，该方法与SOTA基线相比表现如何？
• RQ5 多尺度形变场是否引入了拓扑多样性与视觉质量方面的局限？

主要发现

• M³AE在2D切片上实现了11.2的FID分数，显著优于α WGAN基线与β VAE，表明其在分布覆盖范围与样本质量方面表现更优。
• 尽管受到解剖约束，模型仍保持了与β VAE相当的重建质量，SSIM、PSNR与MSE值处于极小范围内，表现稳定。
• 定性分析表明，M³AE生成的样本在解剖结构上最为准确，皮层褶皱与结构特征得到良好保留，而β VAE与α WGAN则出现明显伪影。
• 模型偶尔因细粒度形变场生成不佳而产生波纹状视觉伪影，表明在高分辨率下仍需改进正则化策略。
• 在皮层褶皱的拓扑多样性方面表现有限，提示未来工作需增强对沟回变异性的建模能力。
• 解耦的潜在空间支持有意义的下游分析，而GAN-based方法缺乏此类结构化的潜在表征。

Figure 2 : Preprocessed volumes from the ADNI dataset