[论文解读] Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization

Chong You, Zhihui Zhu+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 51被引用 8

一句话总结

本文提出了一种鲁棒的低秩矩阵与自然图像恢复方法，通过使用不同学习率的双重过度参数化，从严重损坏的线性测量中恢复。通过分别对低秩信号和稀疏噪声使用过度参数化模型并施加不同的学习率，梯度下降隐式地将解偏向于真实底层结构，而无需事先知道秩或稀疏性，从而在不使用早停或超参数调优的情况下实现最先进性能。

ABSTRACT

Recent advances have shown that implicit bias of gradient descent on over-parameterized models enables the recovery of low-rank matrices from linear measurements, even with no prior knowledge on the intrinsic rank. In contrast, for robust low-rank matrix recovery from grossly corrupted measurements, over-parameterization leads to overfitting without prior knowledge on both the intrinsic rank and sparsity of corruption. This paper shows that with a double over-parameterization for both the low-rank matrix and sparse corruption, gradient descent with discrepant learning rates provably recovers the underlying matrix even without prior knowledge on neither rank of the matrix nor sparsity of the corruption. We further extend our approach for the robust recovery of natural images by over-parameterizing images with deep convolutional networks. Experiments show that our method handles different test images and varying corruption levels with a single learning pipeline where the network width and termination conditions do not need to be adjusted on a case-by-case basis. Underlying the success is again the implicit bias with discrepant learning rates on different over-parameterized parameters, which may bear on broader applications.

研究动机与目标

• 解决在内在秩和噪声稀疏性未知的情况下，从严重损坏的测量中进行鲁棒的低秩矩阵恢复问题。
• 克服过度参数化模型在鲁棒恢复中的过拟合问题，此类方法通常需要精确参数化或早停。
• 通过双重过度参数化，将梯度下降的隐式偏差扩展到使用深度卷积网络的自然图像恢复。
• 开发一种统一的学习流程，无需针对特定情况调优，即可泛化于各类图像和不同损坏水平。

提出的方法

• 双重过度参数化：低秩矩阵和稀疏噪声分别通过独立的过度参数化模型表示（例如，低秩使用 UU^T，图像使用深度网络）。
• 使用不同学习率：对低秩和稀疏分量应用不同的学习率，从而产生隐式偏差，使解更倾向于恢复真实信号。
• 应用梯度下降最小化最小二乘损失，不使用显式正则化，完全依赖于学习率差异所诱导的隐式偏差。
• 理论分析表明，当低秩分量的学习率趋近于零时，解会收敛到真实的低秩和稀疏分量。
• 通过使用深度卷积 U-Net 架构对图像进行参数化，将该方法扩展到自然图像恢复。
• 通过利用不同学习率下梯度下降的隐式偏差，避免了早停和超参数调优。

实验结果

研究问题

• RQ1 在过度参数化模型上使用不同学习率的梯度下降，能否在不知道内在秩的情况下，从严重损坏的测量中恢复低秩矩阵？
• RQ2 对低秩和稀疏分量同时进行双重过度参数化，是否能实现在无显式正则化或早停情况下的鲁棒恢复？
• RQ3 在不同损坏水平和图像类型下，梯度下降在不同学习率下的隐式偏差是否能推广到自然图像恢复？
• RQ4 在不知道秩或稀疏性的情况下，学习率差异如何影响恢复过程的收敛性和鲁棒性？
• RQ5 该方法是否可使用单一固定网络宽度和终止条件，适用于多样化的测试图像和损坏水平？

主要发现

• 该方法在鲁棒图像恢复任务中实现了优于 DIP 和 DIP-ℓ₁ 的 PSNR 和视觉质量，且在所有测试损坏水平下均表现更优。
• 在 70% 的椒盐噪声下，该方法在两张测试图像上的 PSNR 分别达到 20.15 和 13.91，显著优于需要特定案例早停的 DIP-ℓ₁。
• 该方法不会过拟合，在不同图像和损坏水平下均保持一致性能，且无需调整网络宽度、学习率或终止条件。
• 理论分析证实，使用不同学习率的梯度下降的隐式偏差可引导解收敛至真实的低秩和稀疏分量。
• 该方法在自然图像上具有良好泛化能力，展现出对不同损坏水平和图像内容的鲁棒性，且仅需单一固定学习流程。
• 隐式偏差机制使得即使在矩阵秩和噪声稀疏性均未知的情况下，也能实现可靠恢复，这正是先前方法的关键局限。