[论文解读] Recurrent Reinforcement Learning: A Hybrid Approach

Xiujun Li, Lihong Li+5 more|arXiv (Cornell University)|Sep 10, 2015

Reinforcement Learning in Robotics参考文献 27被引用 48

一句话总结

该论文提出了一种混合深度强化学习框架，结合了监督学习（通过RNN/LSTM）进行隐状态表征，以及深度Q网络（DQN）在部分可观察环境中的策略优化。RNN/LSTM与DQN的联合训练显著优于独立的监督学习或强化学习模型，在具有长期依赖建模能力的CRM基准上实现了最先进性能。

ABSTRACT

Successful applications of reinforcement learning in real-world problems often require dealing with partially observable states. It is in general very challenging to construct and infer hidden states as they often depend on the agent's entire interaction history and may require substantial domain knowledge. In this work, we investigate a deep-learning approach to learning the representation of states in partially observable tasks, with minimal prior knowledge of the domain. In particular, we propose a new family of hybrid models that combines the strength of both supervised learning (SL) and reinforcement learning (RL), trained in a joint fashion: The SL component can be a recurrent neural networks (RNN) or its long short-term memory (LSTM) version, which is equipped with the desired property of being able to capture long-term dependency on history, thus providing an effective way of learning the representation of hidden states. The RL component is a deep Q-network (DQN) that learns to optimize the control for maximizing long-term rewards. Extensive experiments in a direct mailing campaign problem demonstrate the effectiveness and advantages of the proposed approach, which performs the best among a set of previous state-of-the-art methods.

研究动机与目标

• 解决现实世界强化学习任务中的部分可观察性挑战，其中完整状态信息不可用，必须从历史信息中推断。
• 克服传统部分可观察马尔可夫决策过程（POMDP）在隐状态设计方面需要大量领域知识的局限。
• 利用深度学习从与环境的序列交互历史中自动推断隐状态，且仅需最少的先验知识。
• 通过结合监督信号进行表征学习与强化学习进行策略优化，提升非马尔可夫环境中的长期奖励优化。
• 在以生命周期价值最大化为目标的真实CRM应用中，验证RNN/LSTM与DQN联合训练的有效性。

提出的方法

• 使用循环神经网络（RNN）或长短期记忆（LSTM）网络作为监督组件，从序列交互历史中推断隐状态。
• 利用历史数据中的监督信号（下一个观测和奖励）对RNN/LSTM进行训练，以学习紧凑且上下文感知的状态表征。
• 将推断出的隐状态输入深度Q网络（DQN），以学习最大化折扣累积奖励的最优动作策略。
• 通过随机梯度下降（SGD）联合优化RNN/LSTM与DQN组件，实现状态表征与控制策略的端到端学习。
• 使用仿真环境（RNN模拟器）生成具有已知长期依赖关系的合成数据，以评估模型性能。
• 将联合训练与RNN和DQN的分离训练进行比较，以验证耦合优化的优势。

实验结果

研究问题

• RQ1 结合监督学习（用于状态表征）与强化学习（用于策略学习）的混合模型，是否能在部分可观察任务中优于独立的监督学习或强化学习模型？
• RQ2 使用RNN/LSTM进行隐状态推断，与基于上下文窗口的方法相比，在捕捉长期依赖关系方面表现如何？
• RQ3 RNN/LSTM与DQN的联合训练与分离训练相比，对策略性能有何影响？
• RQ4 在低探索设置下，数据收集策略（如探索性与确定性策略）对强化学习模型性能有何影响？
• RQ5 在所提出的混合框架中，模型性能在不同数据规模下如何变化？

主要发现

• 所提出的混合模型（RL+LSTM）在CRM基准上最大化累积奖励方面，显著优于所有基线模型，包括DQN、DNN和仅监督学习模型。
• RL+LSTM实现了9.37的累积奖励，远超次优模型（RL-RNN为8.92），证明了LSTM在捕捉长期依赖关系方面的优越性。
• RNN/LSTM与DQN的联合训练性能优于分离训练，后者难以将学习到的表征质量与DQN的学习目标对齐。
• 采用探索丰富数据收集策略（U和M）训练的模型表现一致良好，而采用确定性策略（R）时性能急剧下降，凸显强化学习对低探索设置的敏感性。
• 该混合模型在不同数据规模（50K至500K样本）下均保持一致的性能增益，表明其具备数据效率和鲁棒性。
• 在需要长期依赖建模的任务中，混合方法的优势最为显著，而基于上下文窗口的DQN因记忆容量有限而失效。