[论文解读] Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks.
该论文提出了一种基于图神经网络的深度强化学习框架，采用自回归策略分解方法，以处理具有可变状态空间和动作空间的关系环境。该方法在仅使用三只箱子的10x10版本进行训练后，实现了强大的零样本泛化能力，成功解决了89%的15x15 Sokoban问题。
We focus on reinforcement learning (RL) in relational problems that are naturally defined in terms of objects, their relations, and manipulations. These problems are characterized by variable state and action spaces, and finding a fixed-length representation, required by most existing RL methods, is difficult, if not impossible. We present a deep RL framework based on graph neural networks and auto-regressive policy decomposition that naturally works with these problems and is completely domain-independent. We demonstrate the framework in three very distinct domains and we report the method's competitive performance and impressive zero-shot generalization over different problem sizes. In goal-oriented BlockWorld, we demonstrate multi-parameter actions with pre-conditions. In SysAdmin, we show how to select multiple objects simultaneously. In the classical planning domain of Sokoban, the method trained exclusively on 10x10 problems with three boxes solves 89% of 15x15 problems with five boxes.
研究动机与目标
- 为解决在具有可变状态空间和动作空间的关系环境中进行强化学习的挑战，其中固定长度的表示方法不切实际。
- 开发一种领域无关的强化学习框架，能够自然地建模对象、关系及其操作。
- 实现在复杂关系任务中不同问题规模下的有效学习与零样本泛化。
提出的方法
- 该框架利用图神经网络编码关系状态表示，将对象及其相互作用表示为节点和边。
- 采用自回归策略分解方法按顺序生成动作，支持具有前置条件的复杂多参数动作。
- 策略网络通过深度强化学习端到端训练，实现状态表示与动作选择的联合优化。
- 该方法支持在动作中联合选择多个对象，如在SysAdmin领域所展示的那样。
- 其完全领域无关，仅依赖于关系结构，无需人工设计特征。
- 该架构支持可变大小的输入状态和动作，适用于对象数量动态变化的问题。
实验结果
研究问题
- RQ1基于图神经网络的深度强化学习框架是否能在关系环境中实现对不同问题规模的零样本泛化？
- RQ2该方法在多对象关系领域中处理具有前置条件的复杂动作时表现如何？
- RQ3该框架在缺乏固定长度表示的情况下，能在具有可变状态和动作空间的环境中学到有效策略到何种程度？
主要发现
- 在仅使用三只箱子的10x10问题进行训练后，该方法在15x15 Sokoban问题中实现了89%的成功率。
- 在BlockWorld中，该框架成功处理了具有前置条件的多参数动作，展示了复杂动作序列的能力。
- 在SysAdmin领域，该方法实现了单个动作中同时选择多个对象，显示出在对象操作上的可扩展性。
- 该框架在不同问题规模间表现出强大的零样本泛化能力，表明对分布偏移具有鲁棒性。
- 该方法在三个不同的关系领域中均取得了具有竞争力的性能，涵盖经典规划与系统管理任务。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。