[论文解读] Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems

Rushang Karia, Siddharth Srivastava|arXiv (Cornell University)|Apr 27, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种关系型深度强化学习方法，通过从状态轨迹自动生成的特征，学习一种可泛化的、关系型的Q函数。通过结合深度学习与关系抽象，该方法在对象数量和名称不同的更大规模问题实例上实现了零样本迁移，相比标准强化学习，样本复杂度降低了数个数量级。

ABSTRACT

Reinforcement learning in problems with symbolic state spaces is challenging due to the need for reasoning over long horizons. This paper presents a new approach that utilizes relational abstractions in conjunction with deep learning to learn a generalizable Q-function for such problems. The learned Q-function can be efficiently transferred to related problems that have different object names and object quantities, and thus, entirely different state spaces. We show that the learned generalized Q-function can be utilized for zero-shot transfer to related problems without an explicit, hand-coded curriculum. Empirical evaluations on a range of problems show that our method facilitates efficient zero-shot transfer of learned knowledge to much larger problem instances containing many objects.

研究动机与目标

• 解决强化学习在符号化、因子化状态空间中扩展的挑战，这些状态空间随对象数量呈指数增长。
• 在无需手工编码课程的情况下，实现不同对象名称和数量的问题实例之间的高效策略迁移。
• 学习一种可泛化的Q函数，以捕捉关系结构，并实现对更大实例的零样本迁移。
• 通过利用从状态轨迹中自动推导的特征，降低随机、符号化环境中的样本复杂度。

提出的方法

• 该方法使用深度学习来近似一个关系型Q函数，使其在不同对象数量和名称的问题实例之间具有泛化能力。
• 它从状态轨迹序列自动生成特征列表，避免了对手工编码特征或分析模型的依赖。
• Q函数通过一种广义强化学习（GRL）框架进行训练，该框架通过跳越对象数量的方式支持实例间的迁移。
• 该方法采用多层感知机（MLPs）处理关系特征，从而实现高效的推理和策略泛化。
• 采用一种跳越策略，在较小的问题实例上进行训练，并将知识迁移至更大的实例，从而在无需显式课程设计的情况下加速学习。
• 该方法依赖于基于描述逻辑（DL）的特征，这些特征源自状态转移，用于捕捉关系结构和动态特性。

实验结果

研究问题

• RQ1 在无法访问分析动作模型的情况下，是否可以在关系型、符号化MDP设置中学习到深度Q函数？
• RQ2 从状态轨迹自动生成的关系型特征是否能够有效支持向更大规模问题实例的零样本迁移？
• RQ3 与标准强化学习相比，所提出的GRL框架是否能显著降低随机、符号化环境中的样本复杂度？
• RQ4 所学习的Q函数在对象名称和数量发生变化时，其泛化能力在多大程度上成立？
• RQ5 跳越策略在无需手工编码课程的情况下，其在实现迁移方面的有效性如何？

主要发现

• 与标准Q学习相比，该方法在更大规模问题实例上的采样需求降低了数个数量级。
• 泛化的Q函数能够实现对具有不同对象数量和名称的问题实例的零样本迁移，即使状态空间完全不同。
• 在符号化、随机环境中，该方法优于现有迁移方法，尤其在更难、更复杂的任务上表现更优。
• 从状态轨迹自动生成的特征足以实现优异性能，可显著减少或完全消除对分析模型或手工编码特征的依赖。
• 跳越策略能够在无需领域特定知识或手工编码难度评估的情况下，实现有效的课程学习。
• 该方法在多个符号化领域中表现出稳健性能，包括Sysadmin(n)问题，在该问题中成功将简单策略泛化至大规模实例。