[论文解读] Neumann Networks for Inverse Problems in Imaging

Davis Gilton, Greg Ongie+1 more|arXiv (Cornell University)|Jan 13, 2019

Sparse and Compressive Sensing Techniques参考文献 75被引用 19

一句话总结

该论文提出Neumann Networks，一种用于通过截断包含前向算子X的Neumann级数展开来求解成像中线性反问题的数据驱动深度学习架构。该方法在性能上优于传统求解器、无模型网络以及未展开的迭代方法，并且理论分析表明，当图像位于子空间的并集中时，该方法可近似最优的oracle估计器。

ABSTRACT

Many challenging image processing tasks can be described by an ill-posed linear inverse problem: deblurring, deconvolution, inpainting, compressed sensing, and superresolution all lie in this framework. Traditional inverse problem solvers minimize a cost function consisting of a data-fit term, which measures how well an image matches the observations, and a regularizer, which reflects prior knowledge and promotes images with desirable properties like smoothness. Recent advances in machine learning and image processing have illustrated that it is often possible to learn a regularizer from training data that can outperform more traditional regularizers. We present an end-to-end, data-driven method of solving inverse problems inspired by the Neumann series, which we call a Neumann network. Rather than unroll an iterative optimization algorithm, we truncate a Neumann series which directly solves the linear inverse problem with a data-driven nonlinear regularizer. The Neumann network architecture outperforms traditional inverse problem solution methods, model-free deep learning approaches, and state-of-the-art unrolled iterative methods on standard datasets. Finally, when the images belong to a union of subspaces and under appropriate assumptions on the forward model, we prove there exists a Neumann network configuration that well-approximates the optimal oracle estimator for the inverse problem and demonstrate empirically that the trained Neumann network has the form predicted by theory.

研究动机与目标

• 解决成像中病态线性反问题的挑战，例如去模糊、超分辨率和压缩感知，其中传统正则化方法可能表现不佳。
• 克服无模型依赖的深度学习方法的局限性，这些方法需要大量训练数据且缺乏结构归纳偏差，通过将前向算子X整合到网络架构中来改进。
• 开发一种可学习的、端到端的神经网络架构，受Neumann级数展开启发，直接通过数据驱动的非线性正则化求解反问题。
• 建立理论条件，证明当图像属于子空间并集时，Neumann网络可任意逼近最优oracle估计器。
• 通过实证结果表明，训练后网络中学习到的非线性组件与基于子空间结构推导出的理论预测一致。

提出的方法

• 将反问题表述为最小化一个代价函数，其中包含数据拟合项和正则项，正则项通过Neumann级数展开从训练数据中学习。
• 通过截断一个表达线性反问题解的无限级数来构建Neumann网络，该级数涉及前向算子X和一个可学习的非线性算子R*。
• 设计网络为分块结构，其中每一层应用涉及X^T的线性变换，并通过可学习函数R*进行非线性残差更新。
• 在各块之间引入跳跃连接，以稳定训练并改善优化景观的平滑性。
• 在网络前引入预处理步骤，以进一步提升重建任务中的实际性能。
• 使用成对训练数据(β*, y)端到端训练网络，以学习非线性算子R*，同时保留来自X的结构归纳偏差。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，通过利用Neumann级数展开来直接求解成像中的线性反问题？
• RQ2 将前向算子X整合到网络架构中，是否能相比无模型依赖的学习方法降低样本复杂度？
• RQ3 当图像属于子空间并集时，Neumann网络在何种条件下可逼近最优oracle估计器？
• RQ4 训练后的Neumann网络中学习到的非线性组件是否反映了子空间模型所预测的理论结构？
• RQ5 Neumann网络在标准成像任务中，与传统求解器、无模型深度学习方法以及未展开的迭代方法相比，实证表现如何？

主要发现

• Neumann Networks在超分辨率、去模糊、压缩感知和图像修复任务中达到最先进性能，优于传统求解器和无模型深度学习方法。
• 由于显式整合了前向算子X，该架构的样本复杂度显著低于无模型依赖网络，使其适用于医学成像等数据稀缺领域。
• 理论分析证明，当图像属于子空间并集且非线性组件具有足够容量时，Neumann网络可任意逼近最优oracle估计器。
• 实证结果表明，训练后Neumann网络中学习到的非线性算子与理论预测的形式一致，验证了理论框架的正确性。
• 分块结构中使用跳跃连接可带来更平滑的优化景观，提升训练稳定性和收敛性。
• 简单的预处理步骤与Neumann网络结合，可进一步提升所有测试任务中的重建精度。