[论文解读] Recurrent Environment Simulators

Silvia Chiappa, Sébastien Racanière+2 more|arXiv (Cornell University)|Apr 7, 2017

Reinforcement Learning in Robotics参考文献 19被引用 105

一句话总结

该论文提出了循环环境模拟器，能够从高维观测预测长期范围的环境动态，引入带动作条件的状态转移，并分析训练方案在不同领域中平衡短期与长期准确性的情况。它还引入一个与预测无关的变体以提高效率，并展示在基于模型的探索中的应用。

ABSTRACT

Models that can simulate how environments change in response to actions can be used by agents to plan and act efficiently. We improve on previous environment simulators from high-dimensional pixel observations by introducing recurrent neural networks that are able to make temporally and spatially coherent predictions for hundreds of time-steps into the future. We present an in-depth analysis of the factors affecting performance, providing the most extensive attempt to advance the understanding of the properties of these models. We address the issue of computationally inefficiency with a model that does not need to generate a high-dimensional image at each time-step. We show that our approach can be used to improve exploration and is adaptable to many diverse environments, namely 10 Atari games, a 3D car racing environment, and complex 3D mazes.

研究动机与目标

• 动机：需要具有时间和空间连贯性的准确环境模型，以用于规划与基于规划的探索。
• 开发在高维感知输入上运行的循环、带动作条件的模拟器。
• 系统地分析训练方案（预测相关转移 vs 观测相关转移）如何影响短期与长期的准确性。
• 引入一个预测无关的变体，在关注长期预测时降低计算成本。
• 在多样化环境中展示该方法，并探讨对基于模型的探索的影响。

提出的方法

• 在 Oh 等人（2015）的循环模拟器的基础上扩展一个将动作直接整合到状态转移中的带动作条件的骨架。
• 引入预测相关转移框架，以及一个可选的预测无关变体，以在多步预测时避免高维生成带来的高成本。
• 用基于 LSTM 的骨干网络以及卷积编码器/解码器对观测进行处理，形式化状态更新。
• 在 Atari 2600 游戏、随机生成的 3D 迷宫以及 TORCS 赛车游戏上进行实验，以评估数百步内的时序与空间一致性。
• 系统地评估改变热身长度、预测视野、以及预测相关转移（PDT）比例的训练方案，以研究长期与短期准确性。
• 在需要时使用时序截断反向传播以处理更长的时程。

实验结果

研究问题

• RQ1 带动作条件的循环模型如何从高维输入在较长时程中产生时间与空间上连贯的预测？
• RQ2 不同训练方案（预测相关转移 vs 观测相关转移）对短期与长期预测准确性有何影响？
• RQ3 将动作直接纳入状态转移是否有助于改进环境动力学建模？
• RQ4 预测无关的变体是否在降低计算成本的同时保持有用的预测性能？
• RQ5 这些模拟器在不同环境（Atari、3D 迷宫、TORCS）中对基于模型的探索有多大支持？

主要发现

• 预测相关转移在长期准确性方面有显著提升，尤其是在复杂环境中，但以牺牲短期清晰度为代价。
• 仅观测相关转移在大多数游戏中长期表现较差；在极其复杂的环境中，混合策略可能更可取。
• 在使用 PDT 方案时，更长的预测视野（更长的 T）通常会提升长期准确性，但可能降低短期质量。
• 时间反向传播可以被截断以管理更长的时程，某些多子序列方案有时会提升长期准确性。
• 当预测多步时，预测无关变体可通过在每一步避免高维图像生成，显著降低计算成本。
• 在长期准确性更丰富的模型可以对人类在交互式仿真中的玩法进行泛化，尽管对训练中未遇见的策略可能更敏感。