[论文解读] Using offline metrics and user behavior analysis to combine multiple systems for music recommendation

Andrés Ferraro, Dmitry Bogdanov+2 more|arXiv (Cornell University)|Jan 8, 2019

Recommender Systems and Techniques参考文献 22被引用 8

一句话总结

本文提出了一种个性化融合方法用于音乐推荐，通过利用用户行为特征训练回归模型来预测协同过滤（矩阵分解）与基于流行度的系统在每位用户上的预期性能，从而结合两者。该方法针对特定指标进行优化——在真实世界Melon流媒体数据上验证，显著提升了nDCG@500与多样性表现，且在多个指标上优于基线模型。

ABSTRACT

There are many offline metrics that can be used as a reference for evaluation and optimization of the performance of recommender systems. Hybrid recommendation approaches are commonly used to improve some of those metrics by combining different systems. In this work we focus on music recommendation and propose a new way to improve recommendations, with respect to a desired metric of choice, by combining multiple systems for each user individually based on their expected performance. Essentially, our approach consists in predicting an expected error that each system will produce for each user based on their previous activity. To this end, we propose to train regression models for different metrics predicting the performance of each system based on a number of features characterizing previous user behavior in the system. We then use different fusion strategies to combine recommendations generated by each system. Following this approach one can optimize the final hybrid system with respect to the desired metric of choice. As a proof of concept, we conduct experiments combining two recommendation systems, a Matrix Factorization model and a popularity-based recommender. We use the data provided by Melon, a Korean music streaming service, to train and evaluate the performance of the systems.

研究动机与目标

• 为解决音乐推荐系统中固定指标优化的局限性，实现动态、用户特定的系统组合。
• 通过基于预测的每位用户性能融合多个系统（如矩阵分解与基于流行度的系统），提升推荐质量。
• 在广泛的离线指标范围内评估混合系统，包括多样性与排序质量，而非依赖单一指标（如MAP或RMSE）。
• 探究用户行为模式是否能可靠预测对每位用户而言，协同过滤与基于流行度的系统中哪一个表现更优。
• 证明通过行为特征上的回归模型优化融合权重，可在目标指标（如nDCG@500）上实现更优性能。

提出的方法

• 为每位用户训练回归模型，利用从用户收听历史中提取的特征，预测各组件系统（如用于隐式反馈的SVD、基于流行度的系统）的预期误差（或性能）。
• 使用重复艺术家占比、基于会话的收听模式以及全局收听统计数据等特征，作为回归输入的用户行为表示。
• 应用个性化融合策略——具体为基于学习到的用户级权重进行排序融合，其中每个系统的权重由其预测性能决定。
• 通过将感兴趣的指标（如nDCG@500）作为回归模型训练的目标，优化融合过程。
• 使用大规模Melon数据集（20万用户，2.11亿条事件）进行训练与评估，并在多个离线指标上进行验证。
• 比较不同融合策略（如FUSE、SELECT），并在精度、多样性及归一化折扣累积增益（nDCG）等指标上评估性能。

实验结果

研究问题

• RQ1 用户行为特征是否能可靠预测每位用户在不同推荐系统（如矩阵分解与基于流行度的系统）中的预期性能？
• RQ2 基于预测性能融合多个系统是否能相比单一系统实现更优的排序质量？
• RQ3 能否在优化特定指标（如nDCG@500）的同时，保持在多样性与精度等其他指标上的改进？
• RQ4 与固定或全局融合相比，基于行为模式的融合权重个性化如何影响整体推荐质量？
• RQ5 会话级行为特征在预测系统性能方面，相比全局特征的优越程度如何？

主要发现

• 针对nDCG@500优化的混合系统实现了最佳整体性能，在多数评估指标上均优于两个基线模型。
• FUSE-nDCG@500融合策略在500位推荐结果中实现了0.780的归一化折扣累积增益，显著优于基于流行度的基线（0.754）与SVD基线（0.744）。
• 基于回归加权的个性化融合显著提升了多样性，表现为与基于流行度的基线相比，平均nDCG@10指标提升了12.57%。
• 该方法在SELECT-nDCG@10指标上相较基于流行度的基线实现了2500倍的性能提升，表明在短列表推荐中表现极强。
• 会话级特征（尤其是会话内重复艺术家的比例）在性能估计方面比全局特征更具预测力。
• 基于行为模式训练的回归模型成功预测了系统性能，从而实现了有效的个性化系统选择与融合。