[论文解读] On hybrid modular recommendation systems for video streaming

Evripidis Tzamousis, Maria Papadopouli|arXiv (Cornell University)|Jan 5, 2019

Recommender Systems and Techniques参考文献 43被引用 4

一句话总结

该论文提出 \textepsilon n \alpha bler，一种模块化混合推荐系统，通过嵌套交叉验证动态选择并融合多种机器学习算法，以结合协同过滤、基于内容的推荐和神经网络等多种推荐技术，实现性能优化。在Movielens 1M数据集上，其RMSE达到0.8206，优于SOTA方法如AutoRec（0.827）和SVD（0.845），并在与希腊电信运营商合作的真实场景实地研究中实现了16%的RMSE改进。

ABSTRACT

The recommendation systems aim to improve the user engagement by recommending appropriate personalized content to users, exploiting information about their preferences. We propose the enabler, a hybrid recommendation system which employs various machine-learning (ML) algorithms for learning an efficient combination of several recommendation algorithms and selects the best blending for a given input.Specifically, it integrates three layers, namely, the trainer which trains the underlying recommenders, the blender which determines the most efficient combination of the recommenders, and the tester for assessing the performance of the system. The enabler incorporates a variety of recommendation algorithms that span from collaborative filtering and content-based techniques to ones based on neural networks. It uses the nested cross validation for automatically selecting the best ML algorithm along with its hyper-parameter values for the given input, according to a specific metric. The enabler can be easily extended to include other recommenders and blenders. The enabler has been extensively evaluated in the context of video-streaming. It outperforms various other algorithms, when tested on the Movielens 1M benchmark dataset.encouraging results. Moreover For example, it achieves an RMSE of 0.8206, compared to the state-of-the-art performance of the AutoRec and SVD, 0.827 and 0.845, respectively. A pilot web-based recommendation system was developed and tested in the production environment of a large telecom operator in Greece. Volunteer customers of the video-streaming service provided by the telecom operator employed the system in the context of an out-in-the-wild field study with a post-analysis of the enabler, using the collected ratings of the pilot, demonstrated that it significantly outperforms several popular recommendation algorithms.

研究动机与目标

• 为解决在给定输入下选择最佳推荐算法的挑战，因为性能在不同数据集和条件下差异显著。
• 通过使用机器学习动态结合多种推荐算法（包括协同过滤、基于内容的推荐和基于神经网络的技术）来提高推荐准确性。
• 开发一种模块化、可扩展的框架，通过嵌套交叉验证自动选择最优的融合算法和超参数，以防止性能估计过于乐观。
• 通过在大规模视频流媒体服务中的试点部署，验证系统在真实环境中的有效性。
• 通过整合用户参与度信号和时间行为模式，使该框架可推广至个性化医疗等其他领域。

提出的方法

• 该系统采用三层架构：训练器负责训练单个推荐模型，融合器使用监督学习模型组合其预测结果，测试器通过交叉验证评估性能。
• 采用嵌套交叉验证选择最优的融合算法（如线性回归、随机森林、神经网络）及其超参数，基于目标指标确保鲁棒性并避免过拟合。
• 该框架集成了多样化的推荐模型，包括k-NN、SVD、AutoRec和基于内容的方法，支持跨不同推荐范式的混合。
• 融合器层使用多种元学习器（线性回归、随机森林、人工神经网络）来学习每个输入实例下基础推荐模型输出的最优加权组合。
• 该系统设计为模块化和可扩展，支持无缝集成新推荐模型和融合算法。
• 通过在希腊电信运营商的视频流媒体服务中部署基于Web的试点系统，开展了实地评估。

实验结果

研究问题

• RQ1 能否通过自动选择最优融合算法和超参数的混合推荐系统，在预测准确性上优于单一推荐模型？
• RQ2 不同融合模型（如线性回归、随机森林、神经网络）在基准数据集和真实世界数据集上的性能表现如何？
• RQ3 该模块化混合方法在真实世界视频流媒体环境中在多大程度上提升了用户参与度？
• RQ4 嵌套交叉验证在选择最优融合配置时，能否有效防止性能估计过于乐观？
• RQ5 该系统在稀疏评分和复杂用户行为模式的真实世界数据上，其泛化能力如何？

主要发现

• 在Movielens 1M基准数据集上，\textepsilon n \alpha bler的RMSE为0.8206，优于AutoRec（0.827）和SVD（0.845）。
• 在实地研究数据的离线后分析中，\textepsilon n \alpha bler相比SVD将RMSE降低了超过16%，表明在真实使用中实现了显著的精度提升。
• 在线性回归模型被选为Movielens数据集上的最优融合算法（RMSE = 0.7372），优于随机森林（0.7679）和ANN（0.7730）。
• 在真实世界实地研究中，推荐内容的中位观看时长为41分钟，是非推荐内容（20分钟）的两倍以上，表明用户参与度显著提升。
• 该系统成功识别出真实世界数据中的线性关系，而神经网络表现欠佳，凸显了根据数据特征自适应选择融合策略的重要性。
• 模块化设计支持轻松扩展新推荐模型和融合算法，具备良好的未来可扩展性和适应性。