[论文解读] Robust Cost-Sensitive Learning for Recommendation with Implicit Feedback

Peng Yang, Peilin Zhao+2 more|arXiv (Cornell University)|Jul 3, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本文提出了一种鲁棒的代价敏感矩阵分解框架，将用户-物品矩阵分解为用于共同偏好的低秩分量和用于用户特定异常值的稀疏分量，利用代价敏感学习处理类别不平衡问题。该方法在理论边界上表现强劲，并在基准数据集上实现了更高的F值和NDCG指标，优于当前最先进的基线方法。

ABSTRACT

Recommendation is the task of improving customer experience through personalized recommendation based on users' past feedback. In this paper, we investigate the most common scenario: the user-item (U-I) matrix of implicit feedback. Even though many recommendation approaches are designed based on implicit feedback, they attempt to project the U-I matrix into a low-rank latent space, which is a strict restriction that rarely holds in practice. In addition, although misclassification costs from imbalanced classes are significantly different, few methods take the cost of classification error into account. To address aforementioned issues, we propose a robust framework by decomposing the U-I matrix into two components: (1) a low-rank matrix that captures the common preference, and (2) a sparse matrix that detects the user-specific preference of individuals. A cost-sensitive learning model is embedded into the framework. Specifically, this model exploits different costs in the loss function for the observed and unobserved instances. We show that the resulting non-smooth convex objective can be optimized efficiently by an accelerated projected gradient method with closed-form solutions. Morever, the proposed algorithm can be scaled up to large-sized datasets after a relaxation. The theoretical result shows that even with a small fraction of 1's in the U-I matrix $M\in\mathbb{R}^{n imes m}$, the cost-sensitive error of the proposed model is upper bounded by $O(\fracα{\sqrt{mn}})$, where $α$ is a bias over imbalanced classes. Finally, empirical experiments are extensively carried out to evaluate the effectiveness of our proposed algorithm. Encouraging experimental results show that our algorithm outperforms several state-of-the-art algorithms on benchmark recommendation datasets.

研究动机与目标

• 为解决现有推荐方法假设严格低秩结构且忽略分类代价不对称性的问题。
• 同时检测用户特定的异常值，并处理正样本稀少的隐式反馈矩阵中的类别不平衡问题。
• 开发一个统一框架，整合鲁棒矩阵分解与代价敏感学习，以提升推荐准确性。
• 在稀疏正反馈设置下，为代价敏感误差提供理论保证。
• 通过松弛技术实现方法在大规模数据集上的高效扩展。

提出的方法

• 将用户-物品矩阵 $M$ 分解为用于共同用户偏好的低秩矩阵 $M - V$ 和用于个体行为的稀疏矩阵 $V$。
• 对低秩分量应用迹范数正则化以强制实现低秩结构，对稀疏分量应用核范数正则化以促进稀疏性。
• 通过为观测到的（1）和未观测到的（0）条目分配不同的损失权重，嵌入代价敏感学习模型，以反映不对称的错误代价。
• 使用带闭式更新的加速投影梯度法优化非光滑凸目标函数，分别处理两个分量。
• 通过松弛优化问题以实现大规模数据集的可扩展性，同时保持收敛性保证。
• 采用线性逼近的近端方法解耦低秩与稀疏分量的优化，支持高效的迭代更新。

实验结果

研究问题

• RQ1 统一框架能否同时在隐式反馈矩阵中建模共同用户偏好与个体特定异常值？
• RQ2 在隐式反馈中存在严重类别不平衡时，代价敏感学习如何提升推荐性能？
• RQ3 在稀疏反馈设置下，可为代价敏感误差建立怎样的理论边界？
• RQ4 所提出的方法能否在不牺牲准确性的前提下高效扩展至大规模推荐数据集？
• RQ5 将矩阵分解为低秩与稀疏分量是否能比标准低秩矩阵分解带来更好的泛化性能？

主要发现

• 所提算法的代价敏感误差上界为 $O(\alpha / \sqrt{mn})$，其中 $\alpha$ 衡量对不平衡类别的偏差程度。
• 在 MovieLens-100K 数据集上，F-score@5 从基线的 0.2131 提升至 0.2172，NDCG@15 从 0.7193 提升至 0.7323。
• 在更大的 MovieLens-1M 数据集上，F-score@5 从 0.1726 提升至 0.1805，NDCG@15 从 0.6524 提升至 0.6716。
• 该方法在多个评估指标上优于多种当前最先进的基线模型，展现出推荐质量的持续提升。
• 理论分析表明，即使仅观测到少量条目，只要 $\sqrt{mn}$ 足够大，仍可实现准确的矩阵恢复。
• 带闭式解的加速投影梯度法支持高效优化，支持大规模数据集的可扩展性。