[论文解读] Real-World Recommender Systems for Academia: The Pain and Gain in Building, Operating, and Researching them [Long Version]

Joeran Beel, Siddharth Dinesh|arXiv (Cornell University)|Apr 1, 2017

Recommender Systems and Techniques参考文献 28被引用 3

一句话总结

本文基于六年的实践经验，对学术界构建、运营及研究真实世界推荐系统进行了反思性分析，涵盖为数字图书馆和文献管理工具开发的三个研究论文推荐系统。作者指出了非可复现结果、数据质量差以及A/B测试困难等挑战，强调了学术文献与实际实现之间的差距，并分享了未来研究在技能、评估和数据集实用性方面的见解。

ABSTRACT

Research on recommender systems is a challenging task, as is building and operating such systems. Major challenges include non-reproducible research results, dealing with noisy data, and answering many questions such as how many recommendations to display, how often, and, of course, how to generate recommendations most effectively. In the past six years, we built three research-article recommender systems for digital libraries and reference managers, and conducted research on these systems. In this paper, we share some experiences we made during that time. Among others, we discuss the required skills to build recommender systems, and why the literature provides little help in identifying promising recommendation approaches. We explain the challenge in creating a randomization engine to run A/B tests, and how low data quality impacts the calculation of bibliometrics. We further discuss why several of our experiments delivered disappointing results, and provide statistics on how many researchers showed interest in our recommendation dataset.

研究动机与目标

• 记录在学术数字图书馆中构建和运营真实世界推荐系统时遇到的实际挑战。
• 识别理论推荐系统研究与真实世界部署之间的差距，特别是在数据质量、可复现性和实验设计方面。
• 为希望构建生产级推荐系统的研究人员提供关于关键技能、评估方法和系统设计的可操作见解。
• 分享一个公开的推荐数据集，以支持未来在学术推荐系统领域的可复现研究。

提出的方法

• 将三个研究论文推荐系统集成到数字图书馆和文献管理工具中进行开发与部署。
• 实现一个随机化引擎，以支持A/B测试，评估推荐策略。
• 应用标准的文献计量计算方法，并分析数据质量如何影响其可靠性。
• 使用真实用户交互日志评估推荐效果和用户参与度。
• 系统化记录和分析用户行为，以指导推荐策略的调优。
• 发布来自系统的全面数据集，以支持可复现研究。

实验结果

研究问题

• RQ1 在学术环境中构建和运营真实世界推荐系统时，会遇到哪些实际挑战？
• RQ2 为何推荐系统中的许多实验结果无法复现？其根本原因是什么？
• RQ3 低质量数据如何影响文献计量计算和推荐评估？
• RQ4 成功部署学术推荐系统所需的关键技能和系统设计考量有哪些？
• RQ5 研究人员在多大程度上对使用公开共享的推荐数据集感兴趣？

主要发现

• 文献在选择有效推荐方法方面提供建议有限，导致研究人员往往依赖试错法。
• 由于数据处理不一致、日志记录不佳以及缺乏标准化评估协议，非可复现结果十分普遍。
• 数据质量问题显著影响了文献计量计算，导致性能指标不可靠。
• 在高负载的生产环境中，构建一个稳健的A/B测试随机化引擎比预期更复杂。
• 尽管提供了大规模推荐数据集，但仅有极少数研究人员表现出兴趣用于后续研究。
• 作者观察到，实际部署不仅需要算法设计能力，还要求具备系统工程、日志记录和监控等方面的专长。