[论文解读] Theory-based Causal Transfer: Integrating Instance-level Induction and Abstract-level Structure Learning

Mark Edmonds, Xiaojian Ma+4 more|arXiv (Cornell University)|Nov 25, 2019

Reinforcement Learning in Robotics参考文献 29被引用 4

一句话总结

该论文提出了一种基于理论的因果迁移框架，通过整合实例级关联学习与抽象级因果结构学习，实现在动态环境中的鲁棒知识迁移。通过使用贝叶斯推断从交互中学习因果模型，该智能体在OpenLock‘密室逃脱’环境中实现了类人水平的迁移性能，优于依赖状态-动作关联而无法在不同试验间泛化的无模型强化学习智能体。

ABSTRACT

Learning transferable knowledge across similar but different settings is a fundamental component of generalized intelligence. In this paper, we approach the transfer learning challenge from a causal theory perspective. Our agent is endowed with two basic yet general theories for transfer learning: (i) a task shares a common abstract structure that is invariant across domains, and (ii) the behavior of specific features of the environment remain constant across domains. We adopt a Bayesian perspective of causal theory induction and use these theories to transfer knowledge between environments. Given these general theories, the goal is to train an agent by interactively exploring the problem space to (i) discover, form, and transfer useful abstract and structural knowledge, and (ii) induce useful knowledge from the instance-level attributes observed in the environment. A hierarchy of Bayesian structures is used to model abstract-level structural causal knowledge, and an instance-level associative learning scheme learns which specific objects can be used to induce state changes through interaction. This model-learning scheme is then integrated with a model-based planner to achieve a task in the OpenLock environment, a virtual ``escape room'' with a complex hierarchy that requires agents to reason about an abstract, generalized causal structure. We compare performances against a set of predominate model-free reinforcement learning(RL) algorithms. RL agents showed poor ability transferring learned knowledge across different trials. Whereas the proposed model revealed similar performance trends as human learners, and more importantly, demonstrated transfer behavior across trials and learning situations.

研究动机与目标

• 解决在表面特征不同但底层机制相同的环境中迁移因果知识的挑战。
• 克服无模型强化学习的局限性，后者因依赖状态-动作关联而缺乏结构抽象，导致无法泛化。
• 开发一种混合学习系统，结合自下而上的关联学习与自上而下的因果结构归纳，以形成可迁移的世界模型。
• 通过学习不变的因果结构和可复用的因果假设，使智能体能够泛化到新颖但结构相似的环境。
• 证明将因果理论归纳与基于模型的规划相结合，可实现类人水平的迁移行为，即使在复杂的层次化任务中亦然。

提出的方法

• 采用贝叶斯框架从交互中归纳因果理论，将因果假设视为通过证据更新的不确定性信念。
• 使用贝叶斯结构的分层表示来刻画抽象级因果关系，实现在具有共享机制的领域间的泛化。
• 实施一种实例级关联学习方案，将特定物体交互（如推动/拉动杠杆）映射到可观测的状态变化。
• 将学习到的因果模型与基于模型的规划器集成，以指导在OpenLock虚拟环境中的动作选择。
• 利用主动探索来测试和优化因果假设，基于结果在因果假设空间中更新信念分布。
• 将学习过程形式化为在结构化假设空间上的信念更新机制，其中每个假设编码一种潜在的因果机制。

实验结果

研究问题

• RQ1 结合实例级关联学习与抽象级因果结构学习的混合学习系统，是否能实现在相似但不同的环境之间的有效知识迁移？
• RQ2 将因果理论归纳与基于模型的规划相结合，与无模型强化学习相比，在层次化任务中如何提升泛化能力？
• RQ3 为何人类学习者和所提出的模型在不同试验间表现出可迁移行为，而无模型强化学习智能体却无法泛化？
• RQ4 因果抽象在减少失败路径并提升复杂环境中规划效率方面起到何种作用？
• RQ5 如何在保持通过主动探索发现正确因果结构能力的前提下，使假设空间枚举实现可扩展性？

主要发现

• 所提出的模型在各次试验中表现出一致的性能趋势，与人类学习行为一致，而无模型强化学习智能体在试验间无法实现知识迁移。
• 在CC（一致配置）条件下，智能体通过识别不变的因果结构实现了可靠的成功，表现出对表面变化的鲁棒性。
• 在CE（可变环境）条件下，由于能够推理抽象因果结构，智能体成功应对了更复杂的失败路径，而无模型强化学习智能体则无法做到。
• 该模型在任务完成率和样本效率方面均优于基线强化学习算法，尤其在具有结构不变性但感知差异的环境中表现更优。
• 智能体的泛化能力归因于其双重学习机制：同时学习特定实例级交互与抽象因果结构。
• 研究揭示了一个出乎意料的不对称性：CE条件的失败路径多于CC条件，而该模型通过因果抽象与假设测试有效应对了这一挑战。