[论文解读] Schema Networks: Zero-shot Transfer with a Generative Causal Model of Intuitive Physics

Ken Kansky, Tom Silver+8 more|arXiv (Cornell University)|Jun 14, 2017

Reinforcement Learning in Robotics参考文献 20被引用 150

一句话总结

Schema Networks 学习一个生成式、面向对象的直观物理因果模型，以实现对 Breakout 变体的零样本迁移，在迁移与鲁棒性方面超越 A3C 和 Progressive Networks。

ABSTRACT

The recent adaptation of deep neural network-based methods to reinforcement learning and planning domains has yielded remarkable progress on individual tasks. Nonetheless, progress on task-to-task transfer remains limited. In pursuit of efficient and robust generalization, we introduce the Schema Network, an object-oriented generative physics simulator capable of disentangling multiple causes of events and reasoning backward through causes to achieve goals. The richly structured architecture of the Schema Network can learn the dynamics of an environment directly from data. We compare Schema Networks with Asynchronous Advantage Actor-Critic and Progressive Networks on a suite of Breakout variations, reporting results on training efficiency and zero-shot generalization, consistently demonstrating faster, more robust learning and better transfer. We argue that generalizing from limited data and learning causal relationships are essential abilities on the path toward generally intelligent systems.

研究动机与目标

• 通过学习结构化因果动态来推动对任务变体的鲁棒泛化。
• 引入面向对象的生成模型（Schema Networks），以解耦事件背后的多重成因。
• 使在概率图模型中将规划实现为推理，用于强化学习与规划。
• 展示零样本迁移并与 A3C 和 Progressive Networks 进行比较。

提出的方法

• 将环境表示为具有属性的实体，形成一个基于绑定模式的因子图（grounded schemas）。
• 将未绑定的 schemas 作为模板，在实体、时间和绑定上实例化，以创建 grounded schemas。
• 将转移建模为活跃的 grounded schemas 的或，以及自转移项以处理持久性。
• 通过贪婪的线性规划松弛方法学习模式结构，在带有复杂度惩罚的前提下添加模式以最小化预测误差。
• 通过对 Schema Network 进行最大后验推断（MAP）并使用最大积信念传播（MPBP），来找到达到目标的动作序列。

实验结果

研究问题

• RQ1 Schema Networks 能否对训练中未见的 Breakout 变体实现零样本迁移？
• RQ2 模式是否能够解耦奖励与动态背后的因果因素？
• RQ3 Schema Networks 的迁移与学习效率与 A3C 和 Progressive Networks 相比如何？
• RQ4 在生成因果模型中的规划作为推理是否能改善探索性和对比于无模型方法的鲁棒性？

主要发现

• Schema Networks 在 Breakout 变体上实现了比 A3C 和 Progressive Networks 更快、更鲁棒的学习与迁移。
• 它们展示了零样本迁移，即对标准 Breakout 学到的动态可以应用于变体且无需额外训练。
• 该模型能够解耦奖励的原因（例如砖块颜色影响奖励），并将学习到的因果结构推广到新的布局。
• 将因子图中的规划作为推理支持回归规划和目标导向行为。