[论文解读] User-Sensitive Recommendation Ensemble with Clustered Multi-Task Learning

Menghan Wang, Xiaolin Zheng+1 more|arXiv (Cornell University)|Apr 28, 2018

Recommender Systems and Techniques参考文献 14被引用 3

一句话总结

本文提出 UREC，一种用户敏感的推荐集成方法，通过基于预测模式对用户进行聚类，并应用聚类多任务学习来学习个性化的集成权重，显著降低了用户偏倚的预测偏差。UREC 在 MovieLens-100K 数据集上实现了 79.11% 的胜率，优于传统集成方法和基线模型，并展现出对用户异质性和新用户挑战的鲁棒性。

ABSTRACT

This paper considers recommendation algorithm ensembles in a user-sensitive manner. Recently researchers have proposed various effective recommendation algorithms, which utilized different aspects of the data and different techniques. However, the "user skewed prediction" problem may exist for almost all recommendation algorithms -- algorithms with best average predictive accuracy may cover up that the algorithms may perform poorly for some part of users, which will lead to biased services in real scenarios. In this paper, we propose a user-sensitive ensemble method named "UREC" to address this issue. We first cluster users based on the recommendation predictions, then we use multi-task learning to learn the user-sensitive ensemble function for the users. In addition, to alleviate the negative effects of new user problem to clustering users, we propose an approximate approach based on a spectral relaxation. Experiments on real-world datasets demonstrate the superiority of our methods.

研究动机与目标

• 解决推荐系统中的用户偏倚预测问题，即尽管平均性能表现良好，但顶尖模型在部分用户子集上表现不佳。
• 克服传统集成方法对所有用户应用统一权重的局限性，忽略用户异质性。
• 开发一种可扩展且可靠的集成策略，根据算法预测模式将用户分组为同质聚类。
• 通过引入基于谱松弛的近似方法（UREC appr），减轻新用户对用户聚类的负面影响。

提出的方法

• 基于基础推荐算法（如 KNN、MF、SVD++）的预测差异，使用 k-中位数聚类方法将用户划分为同质群体。
• 将集成学习建模为聚类多任务学习问题，其中每个聚类共享一组共同的集成权重。
• 采用正则化多任务学习框架，联合优化各聚类中的集成权重，提升泛化能力并减少过拟合。
• 对聚类目标应用谱松弛，构建 UREC appr，一种计算效率更高的近似方法，可有效处理新用户。
• 利用用户级别的性能指标（如 RMSE）定义聚类相似性，并指导聚类过程。
• 使用聚类目标的凸松弛形式训练集成模型，实现更快收敛和更好的可扩展性。

实验结果

研究问题

• RQ1 基于用户预测模式进行聚类，能否提升集成的公平性并降低用户偏倚性能？
• RQ2 聚类多任务学习在处理用户异质性方面，与传统集成方法相比表现如何？
• RQ3 所提出的谱松弛方法（UREC appr）在多大程度上缓解了用户聚类中的新用户问题？
• RQ4 与基线模型相比，用户敏感的集成策略是否显著降低了用户级别性能的方差？
• RQ5 所提方法是否在用户层面整体上优于单个模型和标准堆叠方法，实现更高的胜率？

主要发现

• UREC 在 MovieLens-100K 数据集上实现了 79.11% 的胜率，优于 Stacking user（79.11%）和 Stacking one（67.32%），表明其在用户层面具有出色的公平性。
• 在 MovieLens-100K 上，UREC 将用户间 RMSE 的方差降低至 0.0263，显著低于 SVD++ 的 0.0539，证明了其性能的一致性提升。
• UREC appr 在 MovieLens-1M 上实现了 67.29% 的胜率，优于 SVD++（58.81%）和 Stacking one（69.22%），展现出强大的泛化能力。
• UREC appr 在 MovieLens-100K 上的运行时间为 265 秒，显著快于 UREC 的 452 秒，证实了其更高的可扩展性。
• UREC 在 MovieLens-100K 上对基线模型的胜率为 78.47%，表明其在多样化用户群体中持续保持优势。
• UREC appr 中的谱松弛机制使新用户得到有效处理，使其适用于存在冷启动挑战的在线推荐系统。