[论文解读] UncertaINR: Uncertainty Quantification of End-to-End Implicit Neural Representations for Computed Tomography

Francisca Vasconcelos, Bobby He+2 more|arXiv (Cornell University)|Feb 22, 2022

Medical Imaging Techniques and Applications被引用 9

一句话总结

本文提出 UncertaINR，一种用于在计算机断层扫描（CT）重建中对隐式神经表示（INRs）进行不确定性量化（UQ）的贝叶斯框架。通过将蒙特卡洛丢弃（Monte Carlo dropout）及其他贝叶斯深度学习方法应用于INRs，UncertaINR在保持与最先进方法相当的重建精度的同时，实现了校准良好的不确定性估计——令人惊讶的是，其在校准性和效率方面甚至优于更复杂的HMC和深度集成方法。

ABSTRACT

Implicit neural representations (INRs) have achieved impressive results for scene reconstruction and computer graphics, where their performance has primarily been assessed on reconstruction accuracy. As INRs make their way into other domains, where model predictions inform high-stakes decision-making, uncertainty quantification of INR inference is becoming critical. To that end, we study a Bayesian reformulation of INRs, UncertaINR, in the context of computed tomography, and evaluate several Bayesian deep learning implementations in terms of accuracy and calibration. We find that they achieve well-calibrated uncertainty, while retaining accuracy competitive with other classical, INR-based, and CNN-based reconstruction techniques. Contrary to common intuition in the Bayesian deep learning literature, we find that INRs obtain the best calibration with computationally efficient Monte Carlo dropout, outperforming Hamiltonian Monte Carlo and deep ensembles. Moreover, in contrast to the best-performing prior approaches, UncertaINR does not require a large training dataset, but only a handful of validation images.

研究动机与目标

• 为解决医学影像中不确定性量化（UQ）的关键需求，特别是在CT中，因为模型错误可能导致误诊。
• 评估贝叶斯深度学习方法在隐式神经表示（INRs）中的UQ性能，INRs在低数据、高风险的医学影像中正日益被采用。
• 确定计算高效的蒙特卡洛丢弃等方法是否能在INR基CT重建中实现优于HMC或深度集成等昂贵替代方法的校准性能。
• 证明INRs可在仅依赖少量验证图像的情况下实现高质量的UQ，而无需大规模训练数据集。

提出的方法

• 提出一种INRs的贝叶斯重构方法，命名为UncertaINR，用于实现不确定性感知的CT图像重建。
• 应用多种贝叶斯深度学习推理技术：贝叶斯反向传播（Bayes-by-Backprop）、蒙特卡洛丢弃（MCD）、深度集成（DE）和哈密顿蒙特卡洛（HMC）。
• 采用概率模型，其中INR参数化一个连续函数 $ f:(x,y) \to [0,1] $，并通过后验抽样量化不确定性。
• 使用负对数似然（NLL）损失和总变差（TV）正则化以稳定训练并提升重建质量。
• 通过期望校准误差（ECE）和负对数似然（NLL）等指标评估UQ性能，同时结合信噪比（SNR）评估重建精度。
• 在HMC采样背景下引入冷后验效应分析，表明温度调节可提升SNR但会降低不确定性校准性能。

实验结果

研究问题

• RQ1 贝叶斯深度学习方法能否在CT重建的隐式神经表示中提供校准良好的不确定性估计？
• RQ2 蒙特卡洛丢弃是否在INRs的UQ中优于计算更昂贵的HMC和深度集成方法？
• RQ3 UncertaINR能否在极小训练数据量下实现高重建精度和可靠的不确定性量化？
• RQ4 INR基CT重建中的冷后验效应由何引起？其对不确定性与重建性能有何影响？

主要发现

• 蒙特卡洛丢弃（MCD）在所有评估的贝叶斯方法中实现了最佳的不确定性校准性能，优于HMC和深度集成方法。
• MCD保持了具有竞争力的重建精度，在AAPM测试集上SNR值达到 $ 3.44 \pm 0.11 $（DE-5 MCD UINR）和 $ 3.42 \pm 0.10 $（DE-10 MCD UINR）。
• 基于HMC的方法虽取得高SNR（$ 3.06 \pm 0.09 $），但校准性能差，ECE值为 $ -0.033 \pm 0.010 $，表明存在过度自信现象。
• 在HMC-GOP-TV中观察到冷后验效应，降低温度可提升SNR，但同时恶化ECE和NLL，表明精度与不确定性可靠性之间存在权衡。
• 结合MCD的深度集成（如DE-5 MCD UINR）进一步提升性能，NLL达 $ -5.76 \pm 0.80 $，表明其在精度与校准性方面均表现优异。
• UncertaINR可在无需大规模训练数据集的情况下实现良好校准的不确定性量化，仅依赖少量验证图像，这在数据稀缺的医学影像中具有显著优势。