[论文解读] On Sampling Strategies for Neural Network-based Collaborative Filtering

Ting Chen, Yizhou Sun+2 more|arXiv (Cornell University)|Jun 23, 2017

Recommender Systems and Techniques参考文献 34被引用 4

一句话总结

本文提出了一种基于神经网络的协同过滤框架，通过将用户-物品交互与内容特征的深度学习相结合，统一了最先进的推荐模型。为解决高计算成本问题，提出三种新颖的采样策略——分层采样、负样本共享及其混合策略，通过重用采样链接之间的昂贵节点计算，将训练时间减少最多30倍，同时通过更优的梯度估计和更快收敛提升推荐性能。

ABSTRACT

Recent advances in neural networks have inspired people to design hybrid recommendation algorithms that can incorporate both (1) user-item interaction information and (2) content information including image, audio, and text. Despite their promising results, neural network-based recommendation algorithms pose extensive computational costs, making it challenging to scale and improve upon. In this paper, we propose a general neural network-based recommendation framework, which subsumes several existing state-of-the-art recommendation algorithms, and address the efficiency issue by investigating sampling strategies in the stochastic gradient descent training for the framework. We tackle this issue by first establishing a connection between the loss functions and the user-item interaction bipartite graph, where the loss function terms are defined on links while major computation burdens are located at nodes. We call this type of loss functions "graph-based" loss functions, for which varied mini-batch sampling strategies can have different computational costs. Based on the insight, three novel sampling strategies are proposed, which can significantly improve the training efficiency of the proposed framework (up to $ imes 30$ times speedup in our experiments), as well as improving the recommendation performance. Theoretical analysis is also provided for both the computational cost and the convergence. We believe the study of sampling strategies have further implications on general graph-based loss functions, and would also enable more research under the neural network-based recommendation framework.

研究动机与目标

• 解决结合用户-物品交互与内容特征深度学习的混合神经网络协同过滤模型训练过程中的高计算成本问题。
• 识别图结构模型中基于链接的损失函数与节点级计算之间的脱节问题，其中采样策略显著影响训练效率。
• 设计采样策略，以最小化在多个用户-物品交互中重复计算昂贵的神经网络操作（如CNN）的冗余。
• 从理论和实证两方面验证，优化的采样策略可同时提升训练速度与推荐准确率。
• 将洞察推广至推荐系统之外的其他图结构损失函数。

提出的方法

• 该框架通过二部图结构的用户-物品交互图建模用户偏好，损失函数定义在链接（用户-物品对）上，但主要计算开销来自节点级操作（如物品图像的CNN或文本的RNN）。
• 作者提出分层采样（Stratified Sampling），根据共享节点将链接划分为不同层，并在每层内采样，以分摊昂贵的节点计算开销。
• 负样本共享（Negative Sharing）在小批量内复用相同节点生成多个负链接，通过从已有节点特征中创建额外负样本，减少冗余前向传播。
• 混合策略结合分层采样与负样本共享，平衡计算节省与梯度质量，充分发挥两者优势。
• 提供了计算成本与收敛性的理论分析，表明所提策略在收敛速度上与标准独立同分布（IID）采样相当或更优。
• 该框架可泛化现有模型（如使用自编码器、RNN或CNN进行内容表征），并支持多种损失函数，包括成对排序损失与对比学习损失。

实验结果

研究问题

• RQ1 用户-物品交互图的结构如何影响神经协同过滤中随机梯度下降的计算成本？
• RQ2 能否通过利用链接间共享节点计算的采样策略，显著减少训练时间而不降低模型性能？
• RQ3 不同采样策略（如分层采样与负样本共享）对基于图的损失函数的收敛性与效率有何影响？
• RQ4 与标准IID采样相比，所提出的采样策略在训练速度与推荐准确率方面表现如何？
• RQ5 这些采样策略在多大程度上可推广至推荐系统之外的其他图结构机器学习任务？

主要发现

• 在作者的实验中，所提采样策略相比标准IID采样，将训练时间减少最多30倍，显著提升训练效率。
• 分层采样通过将共享节点的链接分组，减少计算开销，实现对昂贵神经网络前向传播的复用。
• 负样本共享通过在小批量内从相同节点特征生成额外负链接，最小化冗余计算，提升效率。
• 结合分层采样与负样本共享的混合策略在计算节省与模型收敛之间取得最佳平衡，优于单一策略。
• 理论分析表明，所提采样方法即使在计算负载降低的情况下，仍能保持或改善收敛特性，优于IID采样。
• 实证结果表明，优化后的采样策略可带来更优的推荐性能（如更高的AUC与NDCG分数），优于标准IID采样训练。