[论文解读] One Network to Solve Them All --- Solving Linear Inverse Problems using Deep Projection Models

Je-Yuan Chang, Chunliang Li+3 more|arXiv (Cornell University)|Mar 29, 2017

Sparse and Compressive Sensing Techniques被引用 64

一句话总结

本文提出一个通用框架，通过将学习的近端算子嵌入 ADMM，在不重新训练的前提下，学习一个单一的深度投影模型来解决图像中的多种线性反问题，实现跨任务重构。

ABSTRACT

While deep learning methods have achieved state-of-the-art performance in many challenging inverse problems like image inpainting and super-resolution, they invariably involve problem-specific training of the networks. Under this approach, different problems require different networks. In scenarios where we need to solve a wide variety of problems, e.g., on a mobile camera, it is inefficient and costly to use these specially-trained networks. On the other hand, traditional methods using signal priors can be used in all linear inverse problems but often have worse performance on challenging tasks. In this work, we provide a middle ground between the two kinds of methods --- we propose a general framework to train a single deep neural network that solves arbitrary linear inverse problems. The proposed network acts as a proximal operator for an optimization algorithm and projects non-image signals onto the set of natural images defined by the decision boundary of a classifier. In our experiments, the proposed framework demonstrates superior performance over traditional methods using a wavelet sparsity prior and achieves comparable performance of specially-trained networks on tasks including compressive sensing and pixel-wise inpainting.

研究动机与目标

• 在手工设计先验和端到端映射之间寻找线性反问题的中间地带的动机。
• 提出一个框架，从大规模图像数据集中学习一个近端算子以解决任意线性反问题。
• 确保学习到的投影可以与 ADMM 集成，并对 A 与噪声的变化具有鲁棒性。
• 为非凸 ADMM 提供收敛性指南，与学习到的投影网络配合。

提出的方法

• 将线性反问题表述为 min_x 0.5||y−Ax||^2 + λφ(x) 并应用带变量拆分的 ADMM（x,z）。
• 用一个学习的投影算子 P 代替 φ 的近端算子，P 被训练成通过分类器 D 将映射至自然图像集合，并通过对抗训练的投影仪进行训练。
• 联动训练 D 与 P，使得 P(z−u) 保持在 D 的边界定义的自然图像流形内，满足收敛的 Lipschitz 梯度假设。
• 证明 x 的更新为 x^{k+1} = P(z^{(k)} − u^{(k)}).
• 提供一个收敛性定理（定理 1）：若 P 解决近端算子且 ∇φ 为 Lipschitz 且 ρ 足够大，则 ADMM 收敛到一个驻点。
• 讨论实现细节，包括网络结构（D 为残差网络，P 为卷积自编码器）、Lipschitz 梯度考虑以及用于训练 P 的数据扰动策略等。

实验结果

研究问题

• RQ1 一个单一的学习近端算子是否能够在多样的线性反问题（如修补、超分辨率、压缩感知）上实现泛化？
• RQ2 在 ADMM 中集成学习投影是否对 A 的变化和测量噪声具有鲁棒的跨任务性能？
• RQ3 在 ADMM 中用非凸学习投影替代近端算子时，哪些收敛保证成立？
• RQ4 所提方法与传统的小波先验方法以及为多任务专门训练的网络相比有何表现？
• RQ5 哪些训练策略（对抗、扰动）有助于在 ADMM 迭代中稳定投影算子？

主要发现

• 所提框架在多项任务上优于传统的小波-稀疏先验，且与为特定任务专门训练的网络相当。
• 在压缩感知中实现 10× 压缩，在修补任务中实现 80% 像素丢失，且在不同数据集上表现具有竞争力。
• 同一个网络在不重新训练的情况下即可解决压缩感知、逐像素与散点修补，以及 2× 超分辨率问题。
• 在 Lipschitz 条件和足够大的 ρ 的情况下，尽管非凸，采用学习投影的 ADMM 可以收敛到一个驻点。
• 所学近端算子对线性算子 A 的变化和测量噪声具有鲁棒性，相较于专门化网络。