[论文解读] On Approximation Guarantees for Greedy Low Rank Optimization

Rajiv Khanna, Ethan R. Elenberg+2 more|arXiv (Cornell University)|Mar 8, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用 5

一句话总结

本文在受限强凸性和光滑性条件下，建立了贪心低秩矩阵优化的指数收敛速率，并揭示了其与子模优化的新联系。研究证明，贪心秩一更新相对于最优秩-$r$解，可实现$(1 - \text{exp}(-c k / r))$的近似保证。

ABSTRACT

We provide new approximation guarantees for greedy low rank matrix estimation under standard assumptions of restricted strong convexity and smoothness. Our novel analysis also uncovers previously unknown connections between the low rank estimation and combinatorial optimization, so much so that our bounds are reminiscent of corresponding approximation bounds in submodular maximization. Additionally, we also provide statistical recovery guarantees. Finally, we present empirical comparison of greedy estimation with established baselines on two important real-world problems.

研究动机与目标

• 在标准凸性和光滑性假设下，为贪心低秩矩阵估计提供理论近似保证。
• 揭示低秩矩阵优化与组合优化（特别是子模最大化）之间的新联系。
• 为贪心算法在低秩估计中的统计恢复性能建立保证。
• 在聚类和词嵌入等真实世界问题上，对贪心优化与现有基线方法进行实证评估。

提出的方法

• 将低秩矩阵估计建模为单位算子范数的秩一矩阵上的原子范数优化问题。
• 将贪心算法视为按顺序选择原子（秩一矩阵）以最大化目标函数。
• 通过受子模函数最大化启发的新型分析方法，推导出近似界，实现指数级误差衰减。
• 证明该算法在$k$轮迭代后，达到$(1 - \text{exp}(-c k / r))$的近似比，其中$c$依赖于受限条件数。
• 在矩阵分解中，使用二项分布模型对归一化共现计数进行贪心方法的应用。
• 在标准基准数据集上，实现并比较贪心方法与SVD、PPMI和SGNS在词相似性和类比任务上的表现。

实验结果

研究问题

• RQ1 在受限强凸性和光滑性的标准假设下，贪心低秩矩阵优化能否实现指数收敛速率？
• RQ2 贪心算法相对于最优秩-$r$解的间隙，其近似保证是什么？
• RQ3 贪心低秩优化的理论界与子模函数最大化中的界有何关联？
• RQ4 贪心方法在聚类和词嵌入等真实世界应用中能否实现有竞争力的性能？
• RQ5 在统计和实证性能方面，贪心方法与SVD和SGNS等基线方法相比如何？

主要发现

• 贪心算法实现了$(1 - \text{exp}(-c k / r))( olimits\text{OPT} - \text{OPT}_0)$的近似保证，其中$c$为与受限条件数相关的常数。
• 误差随迭代次数$k$呈指数级衰减，显著优于以往工作的$O(1/k)$类次线性界。
• 在聚类任务的实证结果表明，$k=3$时贪心分解可实现对聚类矩阵的有竞争力重建。
• 在词嵌入任务中，贪心二项式PCA在W353数据集上达到0.202的皮尔逊相关系数，在MEN数据集上达到0.198，优于PPMI并接近SVD和SGNS。
• 在MSR和Google类比数据集上，分别实现0.176和0.102的准确率，尽管可扩展性较低，但仍表现出有竞争力的性能。
• 理论分析揭示了贪心低秩优化与子模最大化之间存在深层结构相似性，暗示二者具有共享的算法原理。