[论文解读] Probabilistic low-rank matrix completion on finite alphabets

Jean Lafond, Olga Klopp+2 more|arXiv (Cornell University)|Dec 8, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 21

一句话总结

本文提出了一种针对类别型数据（有限字母表，如评分或标签）的低秩矩阵补全问题的核范数惩罚最大似然估计器。在一般采样方案下，该方法建立了对 Kullback-Leibler 散度的理论界，并提出了一种高效的提升型坐标下降算法，其收敛速度优于以往工作，且仅需对矩阵元素绝对值的上界进行假设。

ABSTRACT

The task of reconstructing a matrix given a sample of observedentries is known as the matrix completion problem. It arises ina wide range of problems, including recommender systems, collaborativefiltering, dimensionality reduction, image processing, quantum physics or multi-class classificationto name a few. Most works have focused on recovering an unknown real-valued low-rankmatrix from randomly sub-sampling its entries.Here, we investigate the case where the observations take a finite number of values, corresponding for examples to ratings in recommender systems or labels in multi-class classification.We also consider a general sampling scheme (not necessarily uniform) over the matrix entries.The performance of a nuclear-norm penalized estimator is analyzed theoretically.More precisely, we derive bounds for the Kullback-Leibler divergence between the true and estimated distributions.In practice, we have also proposed an efficient algorithm based on lifted coordinate gradient descent in order to tacklepotentially high dimensional settings.

研究动机与目标

• 解决推荐系统中的评分或调查问卷等类别型数据的矩阵补全问题，其中数据取值于有限集合。
• 开发一种在一般非均匀采样方案下有效的统计上可靠的估计器，无需像以往工作那样依赖均匀采样。
• 在对未知矩阵假设最少的前提下，提供基于 Kullback-Leibler 散度的估计精度理论界。
• 设计一种高效的优化算法，避免在每次迭代中进行完整或部分 SVD 计算，从而实现高维场景下的可扩展性。
• 通过仅要求对概率矩阵最大绝对值的上界，而非对核范数或最大范数的约束，优于现有的 1-bit 和多项式矩阵补全方法。

提出的方法

• 采用带核范数惩罚的对数似然估计器的拉格朗日形式，以强制实现低秩结构。
• 使用提升型坐标下降算法高效求解凸优化问题，避免重复计算 SVD。
• 将矩阵元素建模为具有多项分布或伯努利分布的类别型随机变量，其参数由一个低秩概率矩阵决定。
• 在一般采样测度下，推导出真实与估计概率分布之间 Kullback-Leibler 散度的理论界。
• 除可积性外，对采样分布不施加任何约束，允许非均匀甚至具有结构的采样。
• 仅依赖于真实概率矩阵元素最大绝对值的上界，而非其秩或核范数的界。

实验结果

研究问题

• RQ1 能否为有限字母表数据（如评分或标签）开发一种具有理论保证的低秩矩阵补全方法？
• RQ2 在一般非均匀采样方案下，核范数惩罚的最大似然估计器的性能表现如何？
• RQ3 在 Kullback-Leibler 散度意义下，估计潜在概率矩阵的最优收敛速率是多少？
• RQ4 能否设计一种避免每次迭代中进行完整 SVD 计算的高效优化算法，从而实现对高维矩阵的可扩展性？
• RQ5 在合成数据和真实世界数据上，该方法在预测误差方面与高斯模型和逻辑斯蒂模型相比表现如何？

主要发现

• 在 1-bit 矩阵补全设置下，所提估计器在 Kullback-Leibler 散度上的收敛速度优于以往方法，如文献 [8] 和 [6] 所示。
• 理论界在一般采样分布下成立，无需均匀采样，相比以往工作有显著改进。
• 该方法仅需对真实概率矩阵元素最大绝对值提供上界，无需对核范数或最大范数进行约束。
• 在合成实验中，逻辑斯蒂模型在多项式情形（p=5）下优于高斯模型，因其能更好地捕捉多模态评分分布。
• 在 MovieLens 100k 数据集上，高斯模型对标签编码方式（0/1 与 -1/1）高度敏感，而逻辑斯蒂模型保持稳健，凸显其在类别型数据上的优越性。
• 提升型坐标下降算法实现了高效优化，并能良好扩展至高维场景，避免了每次迭代中昂贵的 SVD 计算。