[论文解读] Risk estimation for matrix recovery with spectral regularization

Charles‐Alban Deledalle, Samuel Vaiter+3 more|arXiv (Cornell University)|May 7, 2012

Sparse and Compressive Sensing Techniques参考文献 8被引用 8

一句话总结

本文提出了一种基于Stein的无偏风险估计（SURE）的矩阵恢复递归风险估计方法，采用谱正则化。通过推导谱函数的弱导数并利用邻近分裂算法，实现了基于无偏风险估计的自动正则化参数选择，已在核范数正则化的矩阵补全问题中得到验证。

ABSTRACT

In this paper, we develop an approach to recursively estimate the quadratic risk for matrix recovery problems regularized with spectral functions. Toward this end, in the spirit of the SURE theory, a key step is to compute the (weak) derivative and divergence of a solution with respect to the observations. As such a solution is not available in closed form, but rather through a proximal splitting algorithm, we propose to recursively compute the divergence from the sequence of iterates. A second challenge that we unlocked is the computation of the (weak) derivative of the proximity operator of a spectral function. To show the potential applicability of our approach, we exemplify it on a matrix completion problem to objectively and automatically select the regularization parameter.

研究动机与目标

• 开发一种针对谱函数正则化矩阵恢复问题的无偏风险估计方法。
• 计算解映射关于噪声观测的散度，这是SURE的关键组成部分。
• 推导谱函数邻近算子的弱导数，尤其针对奇异值互异的情形。
• 实现在矩阵补全及相关问题中正则化参数λ的自动且客观的选择。
• 将SURE理论扩展至由邻近算法产生的非光滑、无闭式解的情形。

提出的方法

• 在奇异值互异的条件下，利用奇异值分解（SVD）和隐函数定理，推导矩阵值谱函数的弱导数。
• 将隐函数定理应用于SVD参数化，以计算谱函数邻近算子的微分。
• 使用前向-后向分裂算法生成迭代序列X^(ℓ)(y)，并递归计算其关于y的方向导数ξ^(ℓ)。
• 通过随机方向δ ~ N(0, Id_P)的蒙特卡洛平均，计算预测映射μ(y) = A(X(y))的散度。
• 利用迹公式估计SURE：SURE(y) = ||y - μ(y)||² - Pσ² + 2σ² div μ(y)，其中div μ(y)通过方向导数近似。
• 通过SVD扰动理论推导出的2×2线性系统，以闭式表达计算邻近算子的导数。

实验结果

研究问题

• RQ1 当解无法以闭式表达时，如何计算解映射的散度？
• RQ2 谱函数邻近算子的弱导数是什么，特别是对于奇异值互异的矩阵？
• RQ3 能否通过邻近算法将SURE应用于具有非光滑、无闭式解的矩阵恢复问题？
• RQ4 在核范数正则化的矩阵补全中，如何实现正则化参数λ的自动且客观选择？
• RQ5 将SURE扩展至谱正则化矩阵恢复的理论基础是什么？

主要发现

• 本文利用SVD扰动理论，推导出谱函数邻近算子弱导数的闭式表达式。
• 证明了解映射的散度可通过邻近迭代递归计算，从而在非光滑设置下实现SURE估计。
• 该方法可对谱正则化矩阵恢复问题实现无偏风险估计，即使解无法以闭式表达。
• 该方法实现了在矩阵补全中正则化参数λ的自动且客观选择，数值实验已验证其有效性。
• 理论框架将SURE扩展至具有非光滑、不可微正则化器（如核范数）的矩阵值问题。
• 该方法计算上可行且可扩展，依赖于邻近迭代的迭代微分及蒙特卡洛采样进行散度估计。