[论文解读] Uncertainty Quantification in Deep Learning for Safer Neuroimage Enhancement

Ryutaro Tanno, Daniel E. Worrall+7 more|arXiv (Cornell University)|Jul 31, 2019

Sparse and Compressive Sensing Techniques参考文献 127被引用 28

一句话总结

本文提出了一种贝叶斯深度学习框架，用于医学图像增强中不确定性量化，特别针对扩散磁共振成像的超分辨率。通过结合异方差噪声建模与近似贝叶斯推断，该方法将预测不确定性分解为内在不确定性和参数不确定性两部分，实现了体素级风险评估，并提升了在分布外数据上的鲁棒性。

ABSTRACT

Deep learning (DL) has shown great potential in medical image enhancement problems, such as super-resolution or image synthesis. However, to date, little consideration has been given to uncertainty quantification over the output image. Here we introduce methods to characterise different components of uncertainty in such problems and demonstrate the ideas using diffusion MRI super-resolution. Specifically, we propose to account for $intrinsic$ uncertainty through a heteroscedastic noise model and for $parameter$ uncertainty through approximate Bayesian inference, and integrate the two to quantify $predictive$ uncertainty over the output image. Moreover, we introduce a method to propagate the predictive uncertainty on a multi-channelled image to derived scalar parameters, and separately quantify the effects of intrinsic and parameter uncertainty therein. The methods are evaluated for super-resolution of two different signal representations of diffusion MR images---DTIs and Mean Apparent Propagator MRI---and their derived quantities such as MD and FA, on multiple datasets of both healthy and pathological human brains. Results highlight three key benefits of uncertainty modelling for improving the safety of DL-based image enhancement systems. Firstly, incorporating uncertainty improves the predictive performance even when test data departs from training data. Secondly, the predictive uncertainty highly correlates with errors, and is therefore capable of detecting predictive "failures". Results demonstrate that such an uncertainty measure enables subject-specific and voxel-wise risk assessment of the output images. Thirdly, we show that the method for decomposing predictive uncertainty into its independent sources provides high-level "explanations" for the performance by quantifying how much uncertainty arises from the inherent difficulty of the task or the limited training examples.

研究动机与目标

• 解决基于深度学习的医学图像增强中缺乏不确定性量化的问题，特别是在对安全性要求较高的应用场景中。
• 对扩散磁共振成像的超分辨率任务中的预测不确定性进行量化，区分不可约的内在不确定性与可减少的参数不确定性。
• 通过将不确定性从多通道图像传播到分数各向异性与平均扩散率等导出标量指标，实现个体特异性和体素级的风险评估。
• 通过将不确定性分解为其来源，提供可解释的模型性能说明，增强信任度并促进临床采纳。
• 在健康脑与病理脑数据集（包括胶质母细胞瘤和多发性硬化症病例）中，展示模型在鲁棒性和可靠性方面的提升。

提出的方法

• 使用异方差噪声层建模模型内在不确定性，该层可自适应地调整输出分布的输入相关方差。
• 通过蒙特卡洛 dropout 应用近似贝叶斯推断，以估计深度神经网络权重中的参数不确定性。
• 整合两类不确定性分量，计算增强图像输出的预测不确定性。
• 利用一阶不确定性传播方法，将多通道扩散磁共振成像图像（如 DTI、MAP-MRI）的预测不确定性传播到导出的标量参数。
• 将总预测不确定性分解为内在不确定性和参数不确定性两部分的独立贡献，以提升可解释性。
• 在多个数据集上训练和评估模型，包括人类连接组计划（Human Connectome Project）、生命周期（Lifespan）、Prisma 以及临床胶质母细胞瘤和多发性硬化症数据集。

实验结果

研究问题

• RQ1 当测试数据偏离训练数据分布时，不确定性量化是否能提升深度学习模型在神经影像增强中的鲁棒性？
• RQ2 预测不确定性在多大程度上与重建误差相关，从而实现在超分辨率任务中对模型失效的检测？
• RQ3 如何有意义地将不确定性从多通道扩散磁共振成像图像传播到分数各向异性与平均扩散率等导出标量参数？
• RQ4 将预测不确定性分解为内在与参数不确定性两部分，是否能为模型行为与性能提供高层次的解释？
• RQ5 不确定性建模在涉及病理脑图像的临床应用中，如何提升安全性与可靠性？

主要发现

• 引入不确定性建模即使在测试数据偏离训练分布时，也能提升预测性能，展现出更强的鲁棒性。
• 预测不确定性与重建误差具有强相关性，可在体素级别可靠检测模型失效。
• 不确定性度量支持对超分辨率图像进行个体特异性和体素级的风险评估，有助于更安全的临床解读。
• 将不确定性分解为内在与参数不确定性两部分，可提供可解释的洞察，判断性能限制是源于任务模糊性还是数据稀缺性。
• 该方法在不同扩散磁共振成像表示（DTI 与 MAP-MRI）及其导出标量参数上均具有泛化能力，在健康脑与病理脑中均表现出一致的改进效果。
• 该框架可扩展至其他图像增强任务，如去噪、重建、图像合成以及跨成像协议的数据标准化。