[论文解读] Rotation-Equivariant Deep Learning for Diffusion MRI

Philip C. Müller, Vladimir Golkov+2 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Neuroimaging Techniques and Applications参考文献 55被引用 14

一句话总结

本文提出了一种针对6D扩散磁共振成像（dMRI）数据的旋转与平移等变深度学习框架，该框架在物理空间（p-space）和q空间中均实现联合等变性。通过利用SO(3)和SE(3)的不可约表示强制实现等变性，该方法在多发性硬化病变分割任务中实现了最先进性能，且所需数据量更少，即使在小规模训练集上也优于非等变模型。

ABSTRACT

Convolutional networks are successful, but they have recently been outperformed by new neural networks that are equivariant under rotations and translations. These new networks work better because they do not struggle with learning each possible orientation of each image feature separately. So far, they have been proposed for 2D and 3D data. Here we generalize them to 6D diffusion MRI data, ensuring joint equivariance under 3D roto-translations in image space and the matching 3D rotations in $q$-space, as dictated by the image formation. Such equivariant deep learning is appropriate for diffusion MRI, because microstructural and macrostructural features such as neural fibers can appear at many different orientations, and because even non-rotation-equivariant deep learning has so far been the best method for many diffusion MRI tasks. We validate our equivariant method on multiple-sclerosis lesion segmentation. Our proposed neural networks yield better results and require fewer scans for training compared to non-rotation-equivariant deep learning. They also inherit all the advantages of deep learning over classical diffusion MRI methods. Our implementation is available at https://github.com/philip-mueller/equivariant-deep-dmri and can be used off the shelf without understanding the mathematical background.

研究动机与目标

• 为解决非等变深度学习在处理扩散磁共振成像中神经纤维结构不同取向时的局限性。
• 将等变深度学习从此前应用于2D和3D数据的范式扩展至6D扩散磁共振成像，该数据结合了3D物理空间（p-space）与3D扩散编码空间（q-space）。
• 确保在p空间中实现3D旋转变换与平移变换的联合等变性，同时在q空间中实现匹配的3D旋转，这符合图像形成过程的物理规律。
• 证明该等变性可提升模型泛化能力，减少过拟合，并降低对训练扫描数的需求。
• 提供公开可获取、易于使用的实现，使研究人员无需深厚的数学背景即可将等变网络应用于dMRI。

提出的方法

• 将3D数据中SE(3)-等变消息传递框架适配至6D dMRI，通过SO(3)与SE(3)的不可约表示对p空间与q空间中的联合变换进行建模。
• 构建一个可学习层，通过在p空间与q空间坐标构成的6D流形上使用球谐函数与群卷积操作，保持等变性。
• 采用逐点q长度加权平均层实现后期q降维，以保留空间分辨率并减少插值伪影。
• 使用TP±1（与不可约表示进行张量积）的滤波器基，以比低阶基更有效地捕捉p空间与q空间之间的结构依赖关系。
• 实现高效的采样感知操作，以适应临床dMRI扫描中典型的非规则q空间采样方案。
• 支持向量与张量输入/输出，适用于纤维取向估计或扩散张量回归等应用。

实验结果

研究问题

• RQ1 SE(3)-等变深度学习能否成功扩展至具有p空间与q空间联合变换的6D扩散磁共振成像数据？
• RQ2 在多发性硬化病变分割任务中，与非等变模型相比，强制实现p空间与q空间中联合旋转变换与平移等变性是否能提升性能？
• RQ3 等变性在多大程度上减少了dMRI中实现泛化所需的训练扫描数？
• RQ4 不同滤波器基选择（如TP±1与高阶基）对模型性能与参数效率有何影响？
• RQ5 与渐进式q降维相比，后期q降维在训练稳定性与最终性能方面是否表现更优？

主要发现

• 所提出的等变模型在相同dMRI数据集上，相较于非旋转等变的深度学习基线模型，实现了更优的病变分割性能。
• 该等变模型在达到相当或更优性能时，所需训练扫描数显著更少，表明其数据效率更高。
• TP±1滤波器基优于其他滤波器基，可能归因于其更强的表征能力及对p空间/q空间结构依赖关系的捕捉能力。
• 后期q降维策略优于渐进式q降维，可能由于插值复杂度更低且训练更稳定。
• 高阶球谐滤波器未提升性能，表明在此背景下，精细的角分辨率细节对病变分割不具显著影响。
• 模型固有的等变性可防止对训练数据中特定取向的过拟合，从而在验证集中对未见取向具有更好的泛化能力。