[论文解读] Probabilistic Residual Learning for Aleatoric Uncertainty in Image Restoration

Chen Zhang, Bangti Jin|arXiv (Cornell University)|Aug 1, 2019

Sparse and Compressive Sensing Techniques参考文献 49被引用 6

一句话总结

本文提出了一种概率残差学习框架，通过将残差预测分解为确定性、低维随机和融合组件，对图像恢复中的偶然不确定性进行建模。该方法通过高效且结构化的不确定性建模，实现了最先进的点估计，同时具备可靠的不确定性量化能力，适用于稀疏的像素相关性。

ABSTRACT

Aleatoric uncertainty is an intrinsic property of ill-posed inverse and imaging problems. Its quantification is vital for assessing the reliability of relevant point estimates. In this paper, we propose an efficient framework for quantifying aleatoric uncertainty for deep residual learning and showcase its significant potential on image restoration. In the framework, we divide the conditional probability modeling for the residual variable into a deterministic homo-dimensional level, a stochastic low-dimensional level and a merging level. The low-dimensionality is especially suitable for sparse correlation between image pixels, enables efficient sampling for high dimensional problems and acts as a regularizer for the distribution. Preliminary numerical experiments show that the proposed method can give not only state-of-the-art point estimates of image restoration but also useful associated uncertainty information.

研究动机与目标

• 解决病态图像恢复问题中偶然不确定性的量化挑战，其中不确定性源于固有噪声和数据模糊性。
• 开发一种深度学习框架，联合学习准确的图像恢复与相应的不确定性估计。
• 通过利用残差的低维随机表示，实现在高维图像空间中的高效不确定性建模。
• 通过在训练过程中将不确定性信息作为正则化信号引入，提高点估计的可靠性。

提出的方法

• 将残差预测分解为三个层次：确定性的同维组件、低维随机组件以及融合两者的合并层。
• 使用低维潜在变量对随机组件进行建模，以高效捕捉像素之间的稀疏相关性。
• 采用变分推理框架进行端到端训练，通过近似后验分布实现不确定性估计。
• 将该框架应用于图像恢复任务，如去噪和超分辨率，预测每个像素或图像块的不确定性。
• 利用随机组件的低维特性作为正则化器，提升模型泛化能力并减少过拟合。
• 通过将随机性限制在低秩子空间，确保计算效率，实现快速采样与可扩展的训练。

实验结果

研究问题

• RQ1 能否将深度残差网络扩展以在图像恢复中建模偶然不确定性，同时保持最先进的点估计性能？
• RQ2 将残差分解为确定性与随机组件，在多大程度上提升了不确定性量化与模型泛化能力？
• RQ3 低维随机表示在多大程度上能有效捕捉自然图像中稀疏像素的相关性？
• RQ4 所提出的框架能否在真实世界图像恢复场景中提供与预测误差相关联的可靠不确定性估计？
• RQ5 不确定性建模的引入在多大程度上增强了图像恢复模型的鲁棒性与泛化能力？

主要发现

• 所提方法在去噪和超分辨率等图像恢复任务中实现了最先进的点估计性能。
• 模型生成了具有实际意义的不确定性图，其与预测可靠性相关，表明在模糊或纹理丰富的区域不确定性更高。
• 低维随机组件有效建模了稀疏像素相关性，降低了计算成本，同时保持了预测性能。
• 不确定性估计起到了正则化作用，提升了模型的泛化能力，并增强了对分布偏移的鲁棒性。
• 数值实验表明，该框架在高维图像空间中实现了高效的采样与可扩展的推理。