[论文解读] The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach

Iulian Vlad Serban, Chinnadhurai Sankar+3 more|arXiv (Cornell University)|Jul 12, 2018

Reinforcement Learning in Robotics被引用 4

一句话总结

Bottleneck Simulator 是一种基于模型的深度强化学习方法，通过使用学习到的离散抽象状态（瓶颈）来分解环境转移模型，从而提高样本效率。该方法通过利用结构先验和高效的滚动仿真，在少样本文本冒险游戏和真实世界对话响应选择任务中优于现有方法。

ABSTRACT

Deep reinforcement learning has recently shown many impressive successes. However, one major obstacle towards applying such methods to real-world problems is their lack of data-efficiency. To this end, we propose the Bottleneck Simulator: a model-based reinforcement learning method which combines a learned, factorized transition model of the environment with rollout simulations to learn an effective policy from few examples. The learned transition model employs an abstract, discrete (bottleneck) state, which increases sample efficiency by reducing the number of model parameters and by exploiting structural properties of the environment. We provide a mathematical analysis of the Bottleneck Simulator in terms of fixed points of the learned policy, which reveals how performance is affected by four distinct sources of error: an error related to the abstract space structure, an error related to the transition model estimation variance, an error related to the transition model estimation bias, and an error related to the transition model class bias. Finally, we evaluate the Bottleneck Simulator on two natural language processing tasks: a text adventure game and a real-world, complex dialogue response selection task. On both tasks, the Bottleneck Simulator yields excellent performance beating competing approaches.

研究动机与目标

• 解决深度强化学习在真实世界应用中数据效率不足的问题。
• 通过学习具有离散瓶颈状态的因子化、抽象转移模型，提高样本效率。
• 通过结合基于模型的滚动仿真与高维状态表示，实现在少量示例下的有效策略学习。
• 对抽象马尔可夫决策过程中的策略误差来源进行数学分析。
• 在复杂的真实世界自然语言处理任务（如对话响应选择和文本冒险游戏）中展示方法的有效性。

提出的方法

• Bottleneck Simulator 学习一种因子化转移模型，其中状态被映射到离散的抽象（瓶颈）状态，以降低模型复杂度。
• 该方法使用离散抽象状态空间作为信息瓶颈，调节全状态世界之间的转移。
• 使用基于学习到的抽象转移模型的滚动仿真，通过 Q-learning 训练策略。
• 抽象状态表示与转移模型联合优化，以提升策略性能，而不仅关注预测准确性。
• 该方法使策略网络能够在全维高维状态上运行，同时从模型中的抽象中获益。
• 固定点分析提供了策略误差的理论边界，将其分解为四种误差来源：结构差异、估计方差、估计偏差和模型类偏差。

实验结果

研究问题

• RQ1 如何使基于模型的强化学习在真实世界、低数据的自然语言处理任务中更具数据效率？
• RQ2 使用离散抽象状态作为瓶颈在多大程度上能提升策略学习的样本效率？
• RQ3 不同来源的误差（结构、方差、偏差和类偏差）如何影响所学策略的性能？
• RQ4 Bottleneck Simulator 是否能在复杂的真实世界对话和基于文本的任务中超越模型无学习和其他基于模型的强化学习方法？
• RQ5 将领域特定的结构知识融入抽象状态空间在多大程度上影响性能？

主要发现

• Bottleneck Simulator 在文本冒险游戏中取得了最先进性能，使用显著更少的训练样本，优于竞争的模型无学习和基于模型的方法。
• 在一项真实世界复杂对话响应选择任务中，Bottleneck Simulator 超过了强基线方法，包括模型无学习的 DQN 和离策略方法，即使人类偏好数据有限。
• 该方法表现出强大的泛化能力和样本效率，在仅几百个演示的情况下即达到高性能。
• 固定点分析表明，结构差异和模型类偏差是主要的误差来源，凸显了有意义的抽象设计的重要性。
• 定性分析显示，所学的抽象状态结构与任务相关的语义概念（如游戏目标和对话目标）高度一致。
• 由于策略能够通过全状态访问进行补偿，即使抽象状态空间未完全对齐真实环境结构，该方法仍能实现有效的策略学习。