[论文解读] Reinforcement Learning with External Knowledge and Two-Stage Q-functions for Predicting Popular Reddit Threads

Ji He, Mari Ostendorf+1 more|arXiv (Cornell University)|Apr 20, 2017

Topic Modeling参考文献 25被引用 8

一句话总结

该论文提出了一种结合外部知识融合的两阶段Q-learning框架，以提升强化学习在预测热门Reddit评论中的表现。通过利用动态检索的外部知识增强状态表征，并采用两阶段Q函数高效探索组合性自然语言动作，该方法在五个子版面中显著优于基线模型，推理速度相比完整动作空间探索最高提升11倍。

ABSTRACT

This paper addresses the problem of predicting popularity of comments in an online discussion forum using reinforcement learning, particularly addressing two challenges that arise from having natural language state and action spaces. First, the state representation, which characterizes the history of comments tracked in a discussion at a particular point, is augmented to incorporate the global context represented by discussions on world events available in an external knowledge source. Second, a two-stage Q-learning framework is introduced, making it feasible to search the combinatorial action space while also accounting for redundancy among sub-actions. We experiment with five Reddit communities, showing that the two methods improve over previous reported results on this task.

研究动机与目标

• 为解决实时预测热门Reddit评论的挑战，其中动作为自然语言评论的集合，且动作空间具有组合性。
• 通过将非结构化外部知识（如新闻和讨论帖中的世界事件）融入状态表征，提升强化学习中的决策能力。
• 在无需穷举计算的前提下，实现对完整组合性动作空间的有效探索，避免因计算复杂度导致的不可行性。
• 通过结合外部知识与两阶段Q-learning架构，在保持准确率的同时减少搜索时间，从而提升预测性能。

提出的方法

• 利用当前评论历史作为查询，向外部知识源（如新闻源或世界事件讨论帖）查询信息，以增强状态表征。
• 使用可学习的注意力机制检索并整合相关外部文档到状态嵌入中，从而在局部讨论历史之外丰富上下文信息。
• 实施两阶段Q-learning框架：首先，轻量级Q网络生成子动作（评论集合）的候选列表；其次，更复杂的Q网络对候选列表进行重排序，以完成最终选择。
• 采用DRRN-BiLSTM架构实现Q函数，以建模评论历史与外部知识中的序列依赖关系，实现有效的表征学习。
• 从完整动作空间中采样固定数量的候选（N=10），但通过两阶段流程改进选择策略，而非随机采样。
• 使用经验回放与目标网络，端到端训练Q函数，以累积karma奖励为目标进行优化。

实验结果

研究问题

• RQ1 来自非结构化源的外部知识是否能提升在具有组合性动作空间的自然语言决策任务中强化学习的性能？
• RQ2 两阶段Q-learning框架是否能在无需穷举计算的前提下，有效探索自然语言动作设置下的完整组合性动作空间？
• RQ3 外部知识与两阶段Q-learning框架的联合集成，在多样化Reddit社区中对预测性能有何影响？
• RQ4 与完整动作空间探索相比，两阶段Q-learning框架在多大程度上减少了推理时间？

主要发现

• 与完整动作空间探索相比，两阶段Q-learning框架在K=3时将测试运行时间减少了6倍，在K=5时减少了11倍，显著提升了推理效率。
• 在所有测试的五个子版面中，引入外部知识均持续提升了两阶段Q-learning基线的性能，尤其在主题多样性较高的子版面中提升最为显著。
• 图4的消融实验表明，两个组件——外部知识与两阶段学习——均对性能有独立贡献，其中两阶段框架带来的增益更大。
• 表4的案例研究证实，智能体能够学会关注相关外部文档（如关于火星殖民的新闻用于回答火星大气问题），同时避免无关信息。
• 该方法在Reddit热度预测任务中优于先前报告的结果，在五个具有不同语言风格与karma分布的子版面中均表现出当前最优性能。
• 尽管在动作子空间上进行训练的DRRN-BiLSTM模型仍表现出较强性能，但其表现仍低于两阶段Q函数，原因在于训练与测试数据分布存在偏移。