[论文解读] Stability of matrix factorization for collaborative filtering

Yuxiang Wang, Huan Xu|arXiv (Cornell University)|Jun 18, 2012

Advanced MIMO Systems Optimization参考文献 26被引用 19

一句话总结

本文分析了在对抗性噪声下协同过滤中矩阵分解的稳定性，建立了均方根误差、子空间偏差和单个用户预测误差的理论边界。该研究为抵御操纵者攻击提供了可证明的鲁棒性保证，为使用低秩矩阵补全的弹性推荐系统提供了设计原则。

ABSTRACT

We study the stability vis a vis adversarial noise of matrix factorization algorithm for matrix completion. In particular, our results include: (I) we bound the gap between the solution matrix of the factorization method and the ground truth in terms of root mean square error; (II) we treat the matrix factorization as a subspace fitting problem and analyze the difference between the solution subspace and the ground truth; (III) we analyze the prediction error of individual users based on the subspace stability. We apply these results to the problem of collaborative filtering under manipulator attack, which leads to useful insights and guidelines for collaborative filtering system design.

研究动机与目标

• 理解对抗性噪声如何影响协同过滤中的矩阵分解。
• 以均方根误差为度量，界定分解矩阵与真实底层矩阵之间的偏差。
• 分析解子空间相对于真实子空间的稳定性。
• 基于子空间稳定性量化单个用户的预测误差。
• 推导出对操纵者攻击具有弹性的协同过滤系统的设计准则。

提出的方法

• 将矩阵分解形式化为子空间拟合问题，以分析解的几何稳定性。
• 推导估计低秩矩阵与真实低秩矩阵之间均方根误差的理论边界。
• 利用主角分析估计子空间与真实子空间之间的夹角偏差。
• 通过扰动分析将子空间稳定性与单个用户预测误差关联。
• 将理论框架应用于协同过滤中操纵者攻击的情境。
• 运用数值线性代数和矩阵扰动理论的工具，推导出鲁棒性保证。

实验结果

研究问题

• RQ1 对抗性噪声如何影响协同过滤中矩阵分解的准确性？
• RQ2 在噪声观测下，解子空间与真实子空间的偏差程度如何？
• RQ3 子空间稳定性与单个用户预测误差之间存在何种关系？
• RQ4 如何利用误差的理论边界设计鲁棒的推荐系统？
• RQ5 这些边界对防御协同过滤中的操纵者攻击有何影响？

主要发现

• 本文建立了分解矩阵与真实值之间均方根误差的理论上限，量化了对抗性噪声的影响。
• 证明了估计子空间与真实子空间之间的夹角偏差是受控的，确保了分解的几何稳定性。
• 表明单个用户的预测误差与子空间偏差成正比，将全局稳定性与局部准确性联系起来。
• 理论边界为设计对战略性用户操纵具有弹性的协同过滤系统提供了可操作的设计指南。
• 结果表明，当噪声幅度在特定阈值范围内时，矩阵分解在对抗性噪声下仍保持稳定。
• 该框架能够识别影响系统鲁棒性的关键系统参数，如秩和噪声水平。