[论文解读] Stable rank one matrix completion is solved by two rounds of semidefinite programming relaxation

Augustin Cosse, Laurent Demanet|arXiv (Cornell University)|Dec 31, 2017

Sparse and Compressive Sensing Techniques参考文献 45被引用 3

一句话总结

该论文提出一种两轮半定规划松弛方法，结合迹范数最小化，可从 O(m + n) 个观测条目中可证明地恢复唯一秩一矩阵，即使在存在噪声的情况下亦成立。该方法确保利普希茨稳定性，并通过约束的多项式理想的平方和多项式构造对偶证书，当观测条目的二分图连通时实现精确恢复。

ABSTRACT

This paper studies the problem of deterministic rank-one matrix completion. It is known that the simplest semidefinite programming relaxation, involving minimization of the nuclear norm, does not in general return the solution for this problem. In this paper, we show that in every instance where the problem has a unique solution, one can provably recover the original matrix through two rounds of semidefinite programming relaxation with minimization of the trace norm. We further show that the solution of the proposed semidefinite program is Lipschitz-stable with respect to perturbations of the observed entries, unlike more basic algorithms such as nonlinear propagation or ridge regression. Our proof is based on recursively building a certificate of optimality corresponding to a dual sum-of-squares (SOS) polynomial. This SOS polynomial is built from the polynomial ideal generated by the completion constraints and the monomials provided by the minimization of the trace. The proposed relaxation fits in the framework of the Lasserre hierarchy, albeit with the key addition of the trace objective function. We further show how to represent and manipulate the moment tensor in favorable complexity by means of a hierarchical low-rank decomposition.

研究动机与目标

• 为解决在噪声下秩一矩阵补全中缺乏确定性稳定性估计的问题。
• 在解唯一时，开发一种可证明稳定且精确恢复的秩一矩阵补全算法。
• 克服核范数最小化在确定性设定下无法恢复真实秩一矩阵的缺陷。
• 建立基于平方和（SOS）多项式与矩张量分解的框架，以验证最优性。

提出的方法

• 提出一种两轮半定规划松弛方法，结合迹范数最小化，以恢复原始秩一矩阵。
• 通过完成约束的多项式理想和迹最小化单项式导出的平方和（SOS）多项式构造对偶证书。
• 采用矩张量的分层低秩分解，以保持有利的计算复杂度。
• 在拉塞尔雷层次框架中引入迹目标函数，以增强恢复保证。
• 通过矩矩阵低秩分解的链式法则推导梯度更新，实现高效计算。
• 通过将原始约束乘以次数不超过 t−deg(hj) 的单项式，应用高阶仿射约束，以实现松弛阶数 t。

实验结果

研究问题

• RQ1 两轮半定规划松弛结合迹范数最小化是否可证明地从 O(m + n) 个观测条目中恢复唯一秩一矩阵？
• RQ2 所提方法是否确保对观测条目扰动的利普希茨稳定性，从而优于非线性传播或岭回归？
• RQ3 能否构造一个平方和（SOS）多项式作为对偶证书，以验证秩一矩阵补全中的最优性？
• RQ4 如何在高维设置下，利用低秩结构高效表示和操作矩张量？
• RQ5 观测模式的何种条件（如二分图连通性）可保证唯一且稳定的恢复？

主要发现

• 所提两轮SDP松弛结合迹范数最小化，可在解存在且唯一时可证明地恢复唯一秩一矩阵。
• 解对观测条目中的扰动具有利普希茨稳定性，确保对噪声的鲁棒性。
• 通过对约束的多项式理想和迹最小化项导出的平方和（SOS）多项式构造对偶证书。
• 当观测条目的二分图连通时，该方法可实现精确恢复，如引理1所保证。
• 通过分层低秩分解，矩张量得以高效表示与操作，从而降低计算复杂度。
• 该方法符合拉塞尔雷层次框架，同时引入迹目标函数以提升恢复性能。