[论文解读] Provable Inductive Matrix Completion

Prateek Jain, Inderjit S. Dhillon|arXiv (Cornell University)|Jun 4, 2013

Sparse and Compressive Sensing Techniques参考文献 9被引用 124

一句话总结

该论文提出了一种可证明收敛的交替最小化方法，用于基于秩-1测量的归纳矩阵补全及一般低秩矩阵估计。在特征向量满足弱条件的前提下，证明了交替最小化方法线性收敛至全局最优解，与基于RIP的方法相比，显著降低了计算和存储成本，并为矩阵感知、归纳矩阵补全以及缺失标签的多标签回归提供了理论保证。

ABSTRACT

Consider a movie recommendation system where apart from the ratings information, side information such as user's age or movie's genre is also available. Unlike standard matrix completion, in this setting one should be able to predict inductively on new users/movies. In this paper, we study the problem of inductive matrix completion in the exact recovery setting. That is, we assume that the ratings matrix is generated by applying feature vectors to a low-rank matrix and the goal is to recover back the underlying matrix. Furthermore, we generalize the problem to that of low-rank matrix estimation using rank-1 measurements. We study this generic problem and provide conditions that the set of measurements should satisfy so that the alternating minimization method (which otherwise is a non-convex method with no convergence guarantees) is able to recover back the {\em exact} underlying low-rank matrix. In addition to inductive matrix completion, we show that two other low-rank estimation problems can be studied in our framework: a) general low-rank matrix sensing using rank-1 measurements, and b) multi-label regression with missing labels. For both the problems, we provide novel and interesting bounds on the number of measurements required by alternating minimization to provably converges to the {\em exact} low-rank matrix. In particular, our analysis for the general low rank matrix sensing problem significantly improves the required storage and computational cost than that required by the RIP-based matrix sensing methods \cite{RechtFP2007}. Finally, we provide empirical validation of our approach and demonstrate that alternating minimization is able to recover the true matrix for the above mentioned problems using a small number of measurements.

研究动机与目标

• 为解决标准矩阵补全方法无法推广到新用户或新项目的问题，通过引入辅助信息（特征向量）实现归纳预测。
• 形式化一个统一框架——基于秩-1测量的低秩矩阵估计（LRROM）——以涵盖归纳矩阵补全、一般矩阵感知以及缺失标签的多标签回归。
• 为LRROM设置下的交替最小化提供理论保证，证明在测量算子满足弱条件时，交替最小化可线性收敛至全局最优解。
• 证明所提出的方法在恢复精度上与基于RIP的方法相当或更优，同时显著降低存储和计算需求。

提出的方法

• 将归纳矩阵补全问题表述为从测量值 $\bm{b}_i = \bm{x}_i^T W_* \bm{y}_j$ 中恢复低秩矩阵 $W_*$，其中 $\bm{x}_i, \bm{y}_j$ 分别为用户和项目特征向量。
• 提出一个通用的LRROM框架，其中测量算子将 $W_*$ 映射为一组秩-1内积构成的向量，从而统一处理多种低秩估计问题。
• 提出使用谱初始化的交替最小化方法以恢复 $W_*$，并在测量算子满足三个关键性质（非相干性、有界方差、集中性）的前提下，证明其线性收敛。
• 建立精确恢复所需测量数的理论边界，表明当特征为高斯分布时，$m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ 测量值足以实现恢复，其中 $\beta$ 为 $W_*$ 的条件数。
• 利用随机矩阵理论和矩阵集中不等式（如矩阵切尔诺夫界）分析测量算子的行为，并证明收敛性保证。
• 将通用分析应用于三个具体问题：(1) 高斯矩阵感知，(2) 均匀采样条目的归纳矩阵补全，(3) 缺失标签的多标签回归，证明三者均满足所需条件。

实验结果

研究问题

• RQ1 在引入辅助信息的归纳矩阵补全中，交替最小化能否被可证明地保证收敛至全局最优解？
• RQ2 在低秩矩阵估计中，特征向量和测量算子需满足何种条件，才能确保交替最小化的线性收敛？
• RQ3 在LRROM框架中，精确恢复所需的测量数如何变化，尤其是与基于RIP的方法相比？
• RQ4 所提出的框架能否统一并推广现有的低秩估计问题，如矩阵感知和多标签回归？
• RQ5 在使用秩-1测量与基于RIP的测量之间，恢复精度与计算效率的权衡如何？

主要发现

• 对于高斯秩-1测量，当使用 $m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ 个测量值时，交替最小化以高概率恢复真实的低秩矩阵 $W_*$。
• 所提出的方法在恢复精度上与基于RIP的矩阵感知方法相当，但运行时间降低两个数量级，显著提升了效率。
• 在均匀采样条目的归纳矩阵补全中，即使观测数量较少，该方法也能准确恢复底层矩阵，实证结果表现出较低的测试误差。
• 在缺失标签的多标签回归中，即使标签数 $L=50$ 且特征维数 $d$ 较小，方法仍能保持较低的测试误差，且误差随 $k$ 或 $d$ 增大而平滑退化。
• 理论分析证实，在弱假设下，测量算子满足所需的集中性和非相干性，从而保证了交替最小化的线性收敛。
• 该框架通过降低存储和计算成本，优于现有基于RIP的方法，尤其在大规模场景下表现更优。