[论文解读] Partially Observable Markov Decision Process for Recommender Systems

Zhongqi Lu, Qiang Yang|arXiv (Cornell University)|Aug 28, 2016

Recommender Systems and Techniques参考文献 22被引用 16

一句话总结

该论文提出 POMDP-Rec，一种针对推荐系统优化的神经部分可观马尔可夫决策过程框架，通过建模用户兴趣变化并消除对负样本训练的依赖，解决了循环劣化（Recurrent Deterioration, RD）现象。该方法仅使用正反馈和历史数据，即可实现与人工调优模型相当的性能，通过信念状态转移实现学习的稳定化。

ABSTRACT

We report the "Recurrent Deterioration" (RD) phenomenon observed in online recommender systems. The RD phenomenon is reflected by the trend of performance degradation when the recommendation model is always trained based on users' feedbacks of the previous recommendations. There are several reasons for the recommender systems to encounter the RD phenomenon, including the lack of negative training data and the evolution of users' interests, etc. Motivated to tackle the problems causing the RD phenomenon, we propose the POMDP-Rec framework, which is a neural-optimized Partially Observable Markov Decision Process algorithm for recommender systems. We show that the POMDP-Rec framework effectively uses the accumulated historical data from real-world recommender systems and automatically achieves comparable results with those models fine-tuned exhaustively by domain exports on public datasets.

研究动机与目标

• 解决由反馈循环退化和数据分布偏移引起的在线推荐系统中的循环劣化（Recurrent Deterioration, RD）现象。
• 将序列推荐建模为部分可观马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP），以处理部分用户反馈和隐藏用户状态。
• 消除对负样本训练的需求，因为现实系统中负样本往往稀缺或存在偏差。
• 通过状态转移建模提升对用户兴趣变化和动态推荐环境的鲁棒性。
• 在不依赖推理过程中用户偏好演变的约束下，实现基于全部历史数据的有效离线训练。

提出的方法

• 将序列推荐过程形式化为 POMDP，其中用户状态为隐藏状态，通过部分观测（如点击）进行推断。
• 采用神经拟合 Q 学习估计 Q 值函数，实现在高维状态-动作空间中的函数逼近。
• 使用信念状态表示系统对用户兴趣的概率化理解，并根据观测反馈进行更新。
• 仅在正反馈（如点击）上进行训练，避免使用合成或采样的负样本。
• 利用马尔可夫性质建模状态转移，无需存储完整的用户行为序列，从而提升训练效率。
• 对打乱的历史数据进行迭代训练，以稳定 Q 值估计并减少过估计偏差。

实验结果

研究问题

• RQ1 当用户反馈稀疏且不完整时，基于 POMDP 的框架能否有效建模序列推荐？
• RQ2 POMDP-Rec 框架在反馈循环偏差和数据分布偏移导致的循环劣化（RD）现象中，如何实现缓解？
• RQ3 基于 POMDP 的模型在无需负样本训练的情况下，能在多大程度上实现与人工调优监督模型相当的性能？
• RQ4 POMDP-Rec 中的信念状态转移机制是否比标准 MDP 或监督模型更有效地捕捉用户兴趣的演变和推荐环境的变化？
• RQ5 在大规模真实推荐系统历史数据上训练时，POMDP-Rec 框架的稳定性与可扩展性如何？

主要发现

• POMDP-Rec 框架的性能可与需要大量超参数调优和特征工程的最先进模型相媲美，例如 KDDCUP '11 竞赛中的最佳单模型（RMSE ≈ 22.1）。
• 训练迭代第 6 轮后性能显著提升，表明经过迭代更新后 Q 值估计有效收敛，且过估计偏差减少。
• 平均奖励平稳上升，平均最大 Q 值在足够训练样本后趋于稳定，表明在 Yahoo Music 数据集上模型具有良好的稳定性。
• 该框架通过仅从正反馈中学习，有效解决了推荐系统中的单类问题，避免了负样本生成的需求。
• 通过建模状态转移，POMDP-Rec 模型保持了强大的泛化能力，使其能够在不依赖实时数据再训练的情况下适应用户兴趣和推荐环境的变化。
• 该框架是首个将 POMDP 应用于推荐系统的方案，为序列推荐中的部分可观测性和基于信念的决策提供了原则性建模方法。