[论文解读] Toward Amortized Ranking-Critical Training For Collaborative Filtering

Sam Lobel, Chunyuan Li+2 more|arXiv (Cornell University)|Apr 30, 2020

Data Stream Mining Techniques参考文献 61被引用 9

一句话总结

本文提出了一种用于协同过滤的演员-评论家强化学习框架，通过训练评论家网络来近似排序指标，并利用其指导演员网络的更新，直接优化基于排序的目标。该方法通过神经网络实现排序计算的摊销，实现在新项目列表上的高效推理，并在三个大规模数据集上实现了最先进或更优的性能。

ABSTRACT

We investigate new methods for training collaborative filtering models based on actor-critic reinforcement learning, to more directly maximize ranking-based objective functions. Specifically, we train a critic network to approximate ranking-based metrics, and then update the actor network to directly optimize against the learned metrics. In contrast to traditional learning-to-rank methods that require re-running the optimization procedure for new lists, our critic-based method amortizes the scoring process with a neural network, and can directly provide the (approximate) ranking scores for new lists. We demonstrate the actor-critic's ability to significantly improve the performance of a variety of prediction models, and achieve better or comparable performance to the state-of-the-art on three large-scale datasets.

研究动机与目标

• 为解决传统学习排序方法在每次新列表生成时都需要重新优化而导致的效率低下问题，通过摊销排序评分过程来提升效率。
• 直接使用基于排序的目标优化协同过滤模型，而非依赖代理损失函数。
• 通过训练评论家网络来近似复杂排序指标，并利用其指导演员网络中的策略更新，从而提升推荐性能。
• 通过利用学习到的评论家网络提供近似排序分数，实现在新项目列表上的高效推理。
• 通过直接优化排序目标，在大规模推荐数据集上实现最先进或具有竞争力的性能。

提出的方法

• 训练一个评论家神经网络以近似基于排序的指标（如NDCG或MAP），从而实现对排序质量的可微估计。
• 将评论家的输出作为奖励信号，通过策略梯度方法更新演员网络，直接优化排序性能。
• 通过使用评论家网络为新项目列表提供近似分数，实现排序计算的摊销，无需重新运行优化过程。
• 将训练目标表述为强化学习问题，使演员学习生成项目排序的策略。
• 端到端集成评论家和演员网络，支持通过两个组件的反向传播进行联合训练。
• 使用离策略更新和经验回放以稳定训练并提高样本效率。

实验结果

研究问题

• RQ1 评论家网络能否有效近似复杂排序指标，从而在协同过滤的强化学习中作为代理奖励信号？
• RQ2 通过神经评论家实现排序计算的摊销，是否能实现新项目列表上更快、更可扩展的推理？
• RQ3 与使用代理损失的标准协同过滤相比，利用评论家的奖励信号进行直接优化，能否提升推荐性能？
• RQ4 在排序指标和可扩展性方面，该方法与最先进学习排序基线相比表现如何？
• RQ5 评论家网络在不重新训练的情况下，对未见项目列表的泛化能力在多大程度上成立？

主要发现

• 所提出的演员-评论家框架在三个大规模推荐数据集上实现了优于或相当的性能，达到最先进水平。
• 评论家网络能有效近似排序指标，为策略优化提供准确且可微的奖励信号。
• 通过评论家实现的摊销推理，可在无需重新运行优化程序的情况下高效评分新项目列表。
• 该方法通过直接优化NDCG和MAP等指标，而非依赖代理损失，显著提升了排序性能。
• 由于学习到的评论家具有归纳偏置，该框架具备良好的可扩展性和对未见项目列表的泛化能力。
• 实证结果表明，多种评估指标上均取得一致提升，证实了直接排序优化的有效性。