[论文解读] On the Generalizability and Predictability of Recommender Systems

Duncan C. McElfresh, Sujay Khandagale+3 more|arXiv (Cornell University)|Jun 23, 2022

Recommender Systems and Techniques被引用 4

一句话总结

本文提出 RecZilla，一种元学习框架，通过数据集元特征预测新数据集的最优推荐系统算法与超参数。通过对 85 个数据集和 315 项指标中的 24 种算法进行大规模研究，结果表明性能高度依赖于数据集和指标，但元特征能强有力预测算法表现，使 RecZilla 在未见数据上以高精度显著减少人工模型选择的工作量。

ABSTRACT

While other areas of machine learning have seen more and more automation, designing a high-performing recommender system still requires a high level of human effort. Furthermore, recent work has shown that modern recommender system algorithms do not always improve over well-tuned baselines. A natural follow-up question is, "how do we choose the right algorithm for a new dataset and performance metric?" In this work, we start by giving the first large-scale study of recommender system approaches by comparing 18 algorithms and 100 sets of hyperparameters across 85 datasets and 315 metrics. We find that the best algorithms and hyperparameters are highly dependent on the dataset and performance metric, however, there are also strong correlations between the performance of each algorithm and various meta-features of the datasets. Motivated by these findings, we create RecZilla, a meta-learning approach to recommender systems that uses a model to predict the best algorithm and hyperparameters for new, unseen datasets. By using far more meta-training data than prior work, RecZilla is able to substantially reduce the level of human involvement when faced with a new recommender system application. We not only release our code and pretrained RecZilla models, but also all of our raw experimental results, so that practitioners can train a RecZilla model for their desired performance metric: https://github.com/naszilla/reczilla.

研究动机与目标

• 探究推荐系统算法在不同数据集和性能指标上是否具有泛化能力。
• 识别可预测算法性能、运行时间及数据集难度的元特征。
• 开发一种可扩展的、与指标无关的元学习系统，自动为新数据集选择最优算法与超参数。
• 发布一个公共代码库，包含完整的实验数据、代码及预训练模型，供社区使用。

提出的方法

• 作者开展大规模实证研究，在 85 个数据集和 315 项性能指标上，对比 24 种推荐算法，每对组合在 10 小时内完成测试。
• 从每个数据集中提取 18 项元特征，包括用户/项目数量、评分分布统计量以及交互矩阵的谱特性。
• 构建元学习流程，基于包含多样化数据集与指标的元数据集，实现对新输入的最优算法与超参数的预测。
• RecZilla 模型使用 XGBoost 或其他元学习器，基于元特征预测最优算法与超参数，同时通过消融实验分析元训练集大小与特征数量的影响。
• 系统支持针对常见指标（如 PREC@10、NDCG@10）的预训练模型，也支持通过用户提供的指标进行微调。
• 作者在 https://github.com/naszilla/reczilla 发布了包含统一 API、原始结果和预训练模型的公共代码库。

实验结果

研究问题

• RQ1 推荐系统算法在不同数据集和用户定义指标下的表现如何变化？
• RQ2 数据集元特征能否预测算法性能、运行时间以及寻找高性能模型的难度？
• RQ3 元特征与特定数据集上表现最佳的算法或超参数配置之间是否存在显著相关性？
• RQ4 元训练数据集的大小如何影响元学习器在选择最优算法时的性能？
• RQ5 像 RecZilla 这类与指标无关、支持超参数感知的元学习系统，能否在极少人工干预下超越人工调优？

主要发现

• 最优推荐系统算法与超参数在不同数据集和性能指标间存在显著差异，不存在普遍最优的选择。
• 用户/项目数量、评分分布百分位数以及交互矩阵的谱特性等数据集元特征，是算法性能的强预测因子。
• RecZilla 在未见数据集上预测最优算法与超参数方面表现出高精度，显著减少人工调优需求。
• 随着元训练集增大，性能显著提升，且使用 10 至 40 项元特征时结果最佳，存在最优范围。
• 基于 XGBoost 的元学习器优于线性模型与随机基线，且随着更多元数据集的引入，性能增益持续提升。
• 该框架具备跨指标泛化能力：RecZilla 在 COVERAGE@50 或 HIT-RATE@5 上训练时，性能依然强劲，不仅限于 PREC@10。