[论文解读] SET: an algorithm for consistent matrix completion

Wei Dai, Olgica Milenković|arXiv (Cornell University)|Sep 15, 2009

Sparse and Compressive Sensing Techniques参考文献 9被引用 11

一句话总结

本文提出 SET（子空间演化与迁移）算法，一种新颖的低秩矩阵补全方法，通过在 Grassmann 流形上对矩阵的列空间进行优化，实现一致的低秩矩阵补全。通过结合子空间演化中的线搜索与障碍检测及迁移机制，以克服收敛障碍，SET 在非常低秩矩阵的情况下表现出优越的实验性能，尤其在重建精度和收敛速度方面优于现有方法如 SVT 和 OptSpace。

ABSTRACT

A new algorithm, termed subspace evolution and transfer (SET), is proposed for solving the consistent matrix completion problem. In this setting, one is given a subset of the entries of a low-rank matrix, and asked to find one low-rank matrix consistent with the given observations. We show that this problem can be solved by searching for a column space that matches the observations. The corresponding algorithm consists of two parts -- subspace evolution and subspace transfer. In the evolution part, we use a line search procedure to refine the column space. However, line search is not guaranteed to converge, as there may exist barriers along the search path that prevent the algorithm from reaching a global optimum. To address this problem, in the transfer part, we design mechanisms to detect barriers and transfer the estimated column space from one side of the barrier to the another. The SET algorithm exhibits excellent empirical performance for very low-rank matrices.

研究动机与目标

• 解决一致的矩阵补全问题，即在存在多个解的情况下，仍能找出一个与观测条目一致的低秩矩阵。
• 克服由‘障碍’引起的子空间优化中的收敛问题，这些障碍会阻止线搜索达到全局最优。
• 开发一种仅在列空间上进行优化的方法，避免同时优化行空间与列空间所带来的数值与分析复杂性。
• 在高欠采样率下提升低秩矩阵补全的实验性能，此时解的唯一性无法保证。
• 设计一种迁移机制，用于检测并穿越搜索路径中的障碍，以增强收敛的鲁棒性。

提出的方法

• 将矩阵补全问题表述为寻找与观测条目一致的列空间，从而将问题简化为在 Grassmann 流形上的优化。
• 使用线搜索过程演化估计的列空间，使其趋近于匹配观测条目的解。
• 当某一列的线搜索函数最大值出现在另一列的最小值之前时，检测到障碍，且梯度表明下降路径被阻断。
• 通过 $ j^* $ 和 $ k^* $ 确定最近的临界障碍，其中 $ j^* $ 和 $ k^* $ 由 $ t_{p,j} $ 和 $ t_{o,k} $ 定义，并将子空间转移至障碍的另一侧。
• 通过计算 $ t_{st} = t_{o,k^*} $ 确定转移点，确保搜索能逃离局部障碍而不发生过度跳跃。
• 算法采用线搜索函数 $ f_k(t) $ 的闭式解，其依赖于观测条目和搜索方向。

实验结果

研究问题

• RQ1 是否可以通过仅在列空间上进行优化来一致地完成低秩矩阵，而无需解的唯一性？
• RQ2 如何检测并克服子空间搜索中由‘障碍’引起的收敛失败？
• RQ3 与同时优化行空间与列空间相比，仅在单一子空间（列或行）上进行优化是否能获得更好的性能？
• RQ4 与核范数最小化及其他矩阵补全技术相比，具有障碍感知的子空间演化算法的实验性能如何？
• RQ5 在不同采样率和矩阵秩下，该算法的行为如何，特别是在性能下降的临界范围内？

主要发现

• SET 算法在高欠采样率下对低秩矩阵的重建表现出极佳的实验性能。
• 引入子空间迁移步骤显著提升了收敛性与重建精度，尤其在仅使用线搜索会失败的情况下。
• 在重建误差和收敛速度方面，SET 优于其他矩阵补全算法，包括 SVT 和 OptSpace。
• 对于大多数实现，该算法在 500 次迭代以内收敛，但当障碍无法检测时会出现收敛缓慢的情况。
• 存在一个性能下降的临界采样率范围，且随着矩阵秩的增加，该范围向右移动。
• 该方法通过支持顺序秩猜测，对秩的不确定性表现出鲁棒性，并且在存在多个一致解的情况下依然有效。