[论文解读] Recurrent Inference Machines for Solving Inverse Problems

Patrick Putzky, Max Welling|arXiv (Cornell University)|Jun 13, 2017

Image and Signal Denoising Methods参考文献 24被引用 94

一句话总结

本文介绍了 Recurrent Inference Machines (RIMs)，一种通过 RNN 学习推理算法以求解线性逆问题的框架，在跨任务强泛化能力下实现了最先进的图像去噪和超分辨率。

ABSTRACT

Much of the recent research on solving iterative inference problems focuses on moving away from hand-chosen inference algorithms and towards learned inference. In the latter, the inference process is unrolled in time and interpreted as a recurrent neural network (RNN) which allows for joint learning of model and inference parameters with back-propagation through time. In this framework, the RNN architecture is directly derived from a hand-chosen inference algorithm, effectively limiting its capabilities. We propose a learning framework, called Recurrent Inference Machines (RIM), in which we turn algorithm construction the other way round: Given data and a task, train an RNN to learn an inference algorithm. Because RNNs are Turing complete [1, 2] they are capable to implement any inference algorithm. The framework allows for an abstraction which removes the need for domain knowledge. We demonstrate in several image restoration experiments that this abstraction is effective, allowing us to achieve state-of-the-art performance on image denoising and super-resolution tasks and superior across-task generalization.

研究动机与目标

• 提出一个学习框架，在不显式手工先验或优化过程的情况下，联合学习推理和先验信息。
• 提出 Recurrent Inference Machines (RIMs)，将学习到的迭代推理实现为可训练的 RNN。
• 在包括去噪、超分辨率以及跨任务泛化等图像恢复任务上演示 RIMs。

提出的方法

• 将迭代的 MAP 更新形式化，并将其推广为一个可学习的更新函数 g_phi，它接收梯度信息和当前估计值（Eq. 4）。
• 将先验信息与步长整合为一个可训练的参数集合 phi，使端到端训练成为可能，而无需显式指定先验（Eq. 5）。
• 引入潜在记忆状态 s_t 与基于 RNN 的更新规则（Eq. 6–7），以捕获推进过程和曲率信息。
• 使用可微分的联系函数 Psi，通过 eta 对 x 进行约束，允许在无约束空间中迭代，而输出符合变量约束。
• 通过时间反向传播在 T 步上训练 RIMs，损失为逐步误差之和（Eq. 8）。
• 在具有已知前向算子 A 和噪声 sigma 的线性高斯前向模型上对图像恢复进行评估，使用似然梯度（Eq. 9）。

实验结果

研究问题

• RQ1 一个学习的 RIM 框架是否能够在没有手工设计先验的情况下，联合学习推理和隐式先验，以高效地求解逆问题？
• RQ2 RIMs 是否能够跨任务泛化（例如从反卷积到修补）而无需重新训练？
• RQ3 与手工设计或基于梯度的方法在去噪和超分辨率方面相比，RIMs 的表现如何？
• RQ4 将当前估计和记忆状态包括在内对收敛性和性能有何影响？

主要发现

• RIMs 在随机投影重建任务上优于梯度下降网络和前馈神经网络，展现出鲁棒收敛性和更优的性能。
• RIMs 展现跨任务泛化：在一个任务上训练的模型（如去卷积）通过在保持 phi 固定的情况下交换似然梯度即可迁移到另一任务（如修补）。
• 在灰度去噪方面，基于 RIM 的方法在 PSNR/质量方面与最新方法竞争，专门用于去噪的 RIMs 表现最佳。
• 在彩色去噪和多通道设置中，RIMs 利用跨通道相关性，在不同噪声水平下保持具有竞争力的性能。
• 对于图像超分辨率，在多个尺度下，单个在补丁上训练的 RIM 获得优越的 PSNR/SSIM，相较于若干基线，模型紧凑（~0.5M 参数）。
• RIMs 实现了记忆增强的数据驱动推理，能够通过训练隐式学习先验，降低对人工设计正则化项的依赖。