[论文解读] One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

Andrew Collins, Dominika Tkaczyk+1 more|arXiv (Cornell University)|May 30, 2018

Recommender Systems and Techniques参考文献 15被引用 9

一句话总结

本文提出了一种元学习推荐系统，该系统针对每个用户-项目对选择最优推荐算法（微观层面选择），而非依赖于整个数据集的单一最佳算法。尽管该方法在RMSE上未超越SVD++（100K：0.973 vs. 0.942；1M：0.908 vs. 0.887），但其表明理论上完美的微观层面元学习器可在两个数据集上将RMSE降低25.5%，凸显了实例特定算法选择的潜力。

ABSTRACT

The effectiveness of recommendation algorithms is typically assessed with evaluation metrics such as root mean square error, F1, or click through rates, calculated over entire datasets. The best algorithm is typically chosen based on these overall metrics. However, there is no single-best algorithm for all users, items, and contexts. Choosing a single algorithm based on overall evaluation results is not optimal. In this paper, we propose a meta-learning-based approach to recommendation, which aims to select the best algorithm for each user-item pair. We evaluate our approach using the MovieLens 100K and 1M datasets. Our approach (RMSE, 100K: 0.973; 1M: 0.908) did not outperform the single-best algorithm, SVD++ (RMSE, 100K: 0.942; 1M: 0.887). We also develop a distinction between meta-learners that operate per-instance (micro-level), per-data subset (mid-level), and per-dataset (global level). Our evaluation shows that a hypothetically perfect micro-level meta-learner would improve RMSE by 25.5% for the MovieLens 100K and 1M datasets, compared to the overall-best algorithms used.

研究动机与目标

• 为解决基于全局指标选择单一推荐算法的局限性，该方法可能无法适用于所有用户-项目对。
• 探索是否可将算法选择优化至微观层面——即针对每个独立用户-项目对，而非数据集或子集层面。
• 评估一种动态为每个推荐实例选择最佳算法的元学习器的可行性及其潜在收益。
• 区分并比较不同粒度层级的元学习策略：微观层面（单个实例）、中观层面（数据子集）和全局层面（整个数据集）。

提出的方法

• 该方法利用基于用户-项目对特征训练的元学习器，预测针对特定对表现最佳的推荐算法。
• 通过历史性能数据，对多个算法（如SVD++、基于用户的、基于项目的等）进行实例级评估。
• 元学习器使用源自用户和项目特征的特征进行训练，例如稀疏性、流行度和交互模式。
• 系统在三个层级上比较性能：微观层面（单个对）、中观层面（数据子集）和全局层面（整个数据集），以评估粒度的影响。
• 使用RMSE、F1和点击率作为评估指标，以衡量各层级下算法的性能。
• 构建一个假设性的完美微观层面元学习器，以估算性能提升的理论上限。

实验结果

研究问题

• RQ1 元学习系统是否可通过为每个用户-项目对选择最佳算法，而非使用单一全局算法，来提升推荐性能？
• RQ2 与全局或中观策略相比，微观层面算法选择的理论性能上限是什么？
• RQ3 元学习器在不同粒度层级（微观、中观和全局）下的性能表现如何变化？
• RQ4 若实现一个完美的微观层面元学习器，RMSE的潜在改善幅度是多少？
• RQ5 用户和项目特征如何影响实例层面最优算法的选择？

主要发现

• 所提出的元学习器在MovieLens 100K和1M数据集上未超越表现最佳的单一算法SVD++，分别取得RMSE 0.973和0.908。
• SVD++仍是表现最佳的单一算法，RMSE分别为0.942（100K）和0.887（1M），优于元学习器。
• 假设性的完美微观层面元学习器相较于最佳单一算法，可在两个数据集上将RMSE降低25.5%。
• 本研究证实，微观层面选择具有显著的理论增益潜力，即使当前实现尚未达到目标。
• 微观、中观和全局层面元学习的对比表明，更细粒度的选择策略具有更高潜力，但在实践中更难实现。