[论文解读] Toward Building Conversational Recommender Systems: A Contextual Bandit Approach

Xiaoying Zhang, Hong Xie+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一种对话式推荐系统，通过在上下文Bandit算法中引入用户提供的口头反馈（如兴趣）与行为反馈（如点击）相结合，提出了一种新颖的UCB算法，以减少探索并加速学习。在合成数据、Yelp和今日头条新闻数据上的实验验证了该方法在提升学习速度和推荐性能方面的有效性。

ABSTRACT

Contextual bandit algorithms have gained increasing popularity in recommender systems, because they can learn to adapt recommendations by making exploration-exploitation trade-off. Recommender systems equipped with traditional contextual bandit algorithms are usually trained with behavioral feedback (e.g., clicks) from users on items. The learning speed can be slow because behavioral feedback by nature does not carry sufficient information. As a result, extensive exploration has to be performed. To address the problem, we propose conversational recommendation in which the system occasionally asks questions to the user about her interest. We first generalize contextual bandit to leverage not only behavioral feedback (arm-level feedback), but also verbal feedback (users' interest on categories, topics, etc.). We then propose a new UCB- based algorithm, and theoretically prove that the new algorithm can indeed reduce the amount of exploration in learning. We also design several strategies for asking questions to further optimize the speed of learning. Experiments on synthetic data, Yelp data, and news recommendation data from Toutiao demonstrate the efficacy of the proposed algorithm.

研究动机与目标

• 解决传统上下文Bandit推荐系统因行为反馈不足而导致的学习速度缓慢的问题。
• 通过将用户提供的口头反馈（如对主题或类别的兴趣）整合到学习过程中，提升推荐效率。
• 设计一种新型UCB算法，利用臂级别（行为）反馈与用户级别（口头）反馈，实现更快收敛。
• 开发有效的提问策略，以在交互过程中优化获取有信息量的用户反馈。
• 在包括Yelp和今日头条新闻数据在内的多样化真实世界数据集上，对所提方法进行实证验证。

提出的方法

• 将上下文Bandit框架推广以支持双重反馈：行为反馈（如点击）与口头反馈（如用户关于兴趣的陈述）。
• 提出一种新颖的UCB算法，通过动态平衡探索与利用，结合两种反馈类型，以减少对大规模探索的需求。
• 设计一种查询策略，主动向用户询问其在类别或主题上的兴趣，以获取有信息量的反馈。
• 将用户反馈建模为一种辅助信息，丰富上下文向量，从而改善策略学习并降低推荐中的不确定性。
• 将反馈整合到置信上界（UCB）计算中，优先选择预期奖励高且不确定性低的动作。
• 优化问题的时机与内容，以在最小化用户负担的同时最大化信息增益。

实验结果

研究问题

• RQ1 在上下文Bandit框架中引入用户口头反馈，是否能显著减少有效推荐学习所需的探索量？
• RQ2 所提出的基于UCB的双反馈算法与标准上下文Bandit方法相比，在学习速度和推荐准确率方面表现如何？
• RQ3 哪些提问策略能最有效地获取反馈，同时不降低用户体验？
• RQ4 用户提供的兴趣信息整合到推荐系统中，能在多大程度上提升样本效率？
• RQ5 该方法在多样化推荐场景（如新闻推荐与本地商户推荐）中表现出多强的鲁棒性？

主要发现

• 所提算法通过利用有信息量的口头反馈减少探索，相比标准上下文Bandit实现更快收敛。
• 在合成数据上的实验表明，双反馈方法以更少的交互次数实现更快的学习速度。
• 在Yelp数据上，该方法通过有效利用用户提供的兴趣信号，显著提升了推荐性能。
• 在今日头条新闻推荐数据集上，系统通过有针对性的提问策略，展现出更高的样本效率。
• 口头反馈的整合显著提升了学习速度，尤其在行为信号稀疏的低反馈场景中效果更明显。
• 最优的提问策略被发现能最大化信息增益，同时保持用户参与度。