[论文解读] Regularizing linear inverse problems with convolutional neural networks

Reinhard Heckel|arXiv (Cornell University)|Jul 6, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用 10

一句话总结

本文提出使用未经训练的、参数量不足的卷积神经网络作为图像先验，以正则化线性反问题，如压缩感知和磁共振成像（MRI）重建。通过利用固定的或可学习的卷积滤波器，该网络实现了紧凑的图像表征，并能从少量测量中实现高保真度恢复，在真实MRI数据上的表现优于传统的 $β_1$ 和总变差（total variation）方法。

ABSTRACT

Deep convolutional neural networks trained on large datsets have emerged as an intriguing alternative for compressing images and solving inverse problems such as denoising and compressive sensing. However, it has only recently been realized that even without training, convolutional networks can function as concise image models, and thus regularize inverse problems. In this paper, we provide further evidence for this finding by studying variations of convolutional neural networks that map few weight parameters to an image. The networks we consider only consist of convolutional operations, with either fixed or parameterized filters followed by ReLU non-linearities. We demonstrate that with both fixed and parameterized convolutional filters those networks enable representing images with few coefficients. What is more, the underparameterization enables regularization of inverse problems, in particular recovering an image from few observations. We show that, similar to standard compressive sensing guarantees, on the order of the number of model parameters many measurements suffice for recovering an image from compressive measurements. Finally, we demonstrate that signal recovery with a un-trained convolutional network outperforms standard l1 and total variation minimization for magnetic resonance imaging (MRI).

研究动机与目标

• 研究未经训练的、参数量不足的卷积网络是否可作为正则化线性反问题的有效图像先验。
• 分析此类网络在何种理论条件下可从少量测量中恢复图像，类似于压缩感知的保证。
• 评估这些网络在真实世界MRI重建任务中的性能，与标准的稀疏恢复技术进行比较。
• 证明在生成器架构中使用固定滤波器或可学习滤波器的卷积滤波器可实现紧凑的图像表征并实现鲁棒的恢复。

提出的方法

• 该方法使用仅包含转置卷积、ReLU激活函数且无全连接层的卷积生成器网络，将小维度潜在码映射为重建图像。
• 网络仅通过梯度下降在测量一致性损失上进行训练，不使用任何标注数据，且不更新网络权重。
• 生成器使用固定的插值核（如双线性）初始化，或使用可学习滤波器，潜在码通过优化以匹配观测到的测量值。
• 理论分析表明，分段线性图像可用 O(s) 个参数表示，其中 s 为线性段的数量，从而实现紧凑建模。
• 对于压缩感知，该方法证明在 m ≈ N 次测量下可实现恢复，其中 N 为网络参数数量。
• MRI重建通过使用傅里叶域测量模型 A = M·F 最小化数据保真度损失，其中 M 为 k 空间欠采样掩码。

实验结果

研究问题

• RQ1 未经训练的、参数量较少的卷积网络能否作为反问题的有效图像先验？
• RQ2 网络参数数量与稳定图像恢复所需测量数量之间的理论关系是什么？
• RQ3 未经训练的卷积网络在MRI重建中与标准的基于稀疏性的方法（如 $β_1$-最小化和总变差）相比性能如何？
• RQ4 在实际MRI恢复中，使用固定滤波器还是可学习滤波器的架构表现更优？

主要发现

• 使用固定滤波器的未经训练卷积生成器（深度解码器）在MRI重建中优于 $β_1$-最小化和总变差正则化方法，在 fastMRI 数据集上平均达到 34.74 dB 的性能。
• 当通道数 k=256 时性能最佳，表明适度的过参数化可提升结果且不会导致过拟合。
• 即使模型过参数化，该方法仍保持良好性能，表明对模型容量具有鲁棒性。
• 理论分析证实，分段线性图像可用 O(s) 个参数表示，解释了模型的紧凑性。
• 随着测量数量相对于参数数量的增加，重建质量持续提升，与压缩感知理论一致。
• 该方法生成的图像比使用完整 k 空间数据的最小二乘重建更清晰，表明其正则化效果更优。