[论文解读] Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives

Romain Deffayet, Thibaut Thonet+2 more|arXiv (Cornell University)|Jan 3, 2023

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文批判了用于评估强化学习（RL）推荐系统中广泛使用的标准下一物品预测（NIP）协议，认为其无法体现RL的长期优化优势，并掩盖了关键缺陷。文章提出了替代评估方法，如不确定性感知评估和在支持域内的策略评估，以提升离线RL推荐的生态有效性并降低部署风险。

ABSTRACT

In this paper, we argue that the paradigm commonly adopted for offline evaluation of sequential recommender systems is unsuitable for evaluating reinforcement learning-based recommenders. We find that most of the existing offline evaluation practices for reinforcement learning-based recommendation are based on a next-item prediction protocol, and detail three shortcomings of such an evaluation protocol. Notably, it cannot reflect the potential benefits that reinforcement learning (RL) is expected to bring while it hides critical deficiencies of certain offline RL agents. Our suggestions for alternative ways to evaluate RL-based recommender systems aim to shed light on the existing possibilities and inspire future research on reliable evaluation protocols.

研究动机与目标

• 识别用于评估基于强化学习的推荐系统中广泛使用的下一物品预测（NIP）协议中的关键缺陷。
• 证明NIP无法反映强化学习在序列推荐中所设计实现的长期优化优势。
• 揭示NIP如何掩盖离线RL智能体的缺陷，从而增加部署风险。
• 提出更符合强化学习在序列推荐中真实目标的替代评估方法论。
• 鼓励推荐研究社区采用更稳健、具备不确定性感知的评估实践，以评估离线RL智能体。

提出的方法

• 建议基于策略在整个用户序列上的预期累积奖励进行评估，而非仅关注单步的下一物品预测。
• 通过量化在记录策略支持范围内的性能，引入不确定性感知评估，以降低分布外风险。
• 采用在支持域内的策略评估方法，以估计在离线数据集中观察到的状态-动作对上的性能，从而最小化分布偏移问题。
• 应用离线RL文献中的技术，如分布匹配和在保留测试集上的Q值估计，以评估策略的可靠性。
• 利用Fujimoto等人（2019）和Kumar等人（2021）等现有方法，定义并调整策略支持范围内的不确定性容忍度。
• 建议结合风险量化与回退机制，受Oosterhuis & de Rijke（2021）和Ghosh等人（2022）的启发，以实现更稳健的部署。

实验结果

研究问题

• RQ1 为何下一物品预测（NIP）协议在评估基于强化学习的推荐系统时不够充分？
• RQ2 NIP协议在多大程度上未能体现强化学习在序列推荐中的长期优化目标？
• RQ3 NIP协议在哪些方面掩盖了离线RL智能体的关键缺陷，可能导致部署失败？
• RQ4 何种替代评估协议能更好地捕捉基于强化学习的推荐系统在离线环境下的真实性能与风险？
• RQ5 不确定性量化与在支持域内评估如何提升离线RL策略评估的可靠性？

主要发现

• 下一物品预测（NIP）协议具有短视性，无法评估强化学习所设计的长期累积奖励优化。
• NIP掩盖了离线RL智能体的缺陷，尤其是在分布外状态-动作对上，增加了灾难性部署的风险。
• 该协议对优化器的诅咒（optimizer’s curse）敏感，导致因超参数调优中的选择偏差而高估性能。
• 在记录策略支持范围内实施不确定性感知评估，可实现更可靠的性能估计，并降低部署风险。
• 在支持域区域内实现高预期回报的策略更具可信度，可优先考虑部署。
• 目前尚无完全令人满意的基于强化学习的推荐系统的离线评估方法，但不确定性感知与在支持域内评估提供了可行且更安全的在线性能代理。