[论文解读] Online Bagging for Recommendation with Incremental Matrix Factorization.

João Vinagre, Alí­pio Jorge+1 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Bandit Algorithms Research被引用 1

一句话总结

本文提出了一种在线袋装方法，结合增量矩阵分解，用于处理连续且无界的实时数据流推荐系统。通过将集成学习应用于流式正向反馈，相较于基线方法，推荐准确率提升了35%以上，且计算开销极低。

ABSTRACT

Online recommender systems often deal with continuous, potentially fast and unbounded flows of data. Ensemble methods for recommender systems have been used in the past in batch algorithms, however they have never been studied with incremental algorithms, that are capable of processing those data streams on the fly. We propose online bagging, using an incremental matrix factorization algorithm for positive-only data streams. Using prequential evaluation, we show that bagging is able to improve accuracy more than 35% over the baseline with small computational overhead.

研究动机与目标

• 解决在线推荐系统中处理连续且无界数据流的挑战。
• 将原本仅用于批处理场景的集成方法扩展至增量式、在线学习场景。
• 通过组合基于采样数据流训练的多个模型，提升实时推荐的准确性。
• 在动态环境中保持高性能的同时，最小化计算成本。

提出的方法

• 通过从流入的数据流中进行自助采样，创建多个基模型，实现在线袋装。
• 使用增量矩阵分解，高效地在新用户-物品交互到达时更新模型。
• 以流式方式仅处理正向反馈（如点击、点赞），避免使用负向反馈。
• 采用预序评估法，在训练过程中持续评估模型性能。
• 通过实时动态采样和更新基学习器，保持模型多样性与准确性。
• 结合多个增量模型的预测结果，生成最终、鲁棒的推荐输出。

实验结果

研究问题

• RQ1 能否将类似袋装的集成方法有效适配到增量矩阵分解中，用于在线推荐？
• RQ2 在流式数据上，与标准增量矩阵分解相比，在线袋装在准确率方面表现如何？
• RQ3 在线袋装相对于基线模型的计算成本是多少？
• RQ4 在仅包含正向反馈的数据流设置下，在线袋装在多大程度上提升了推荐准确率？

主要发现

• 与基线增量矩阵分解模型相比，在线袋装使推荐准确率提升了35%以上。
• 该方法保持了较低的计算开销，适用于在数据流环境中实时部署。
• 预序评估证实了在无界数据量下，性能提升具有持续性。
• 集成方法有效降低了方差，并在动态推荐场景中提升了泛化能力。
• 采用增量矩阵分解可实现高效模型更新，无需从头开始重新训练。
• 在缺乏显式负信号的情况下，正向反馈流仍能被有效处理，模型准确率得以保持。