[论文解读] Symbolic Network: Generalized Neural Policies for Relational MDPs

Sankalp Garg, Aniket Bajpai+1 more|arXiv (Cornell University)|Feb 18, 2020

Bayesian Modeling and Causal Inference参考文献 32被引用 8

一句话总结

SymNet 是一种新颖的神经网络框架，通过将 RDDL 表达的关联马尔可夫决策过程（RMDPs）的问题实例转换为图结构表示，并利用图神经网络计算状态和动作嵌入，从而学习通用策略。与随机策略相比，SymNet 在无需微调的情况下即展现出卓越的性能，且通常可匹配或超越从零开始在单个实例上训练的策略，证明了端到端、领域无关的神经关联规划的可行性。

ABSTRACT

A Relational Markov Decision Process (RMDP) is a first-order representation to express all instances of a single probabilistic planning domain with possibly unbounded number of objects. Early work in RMDPs outputs generalized (instance-independent) first-order policies or value functions as a means to solve all instances of a domain at once. Unfortunately, this line of work met with limited success due to inherent limitations of the representation space used in such policies or value functions. Can neural models provide the missing link by easily representing more complex generalized policies, thus making them effective on all instances of a given domain? We present SymNet, the first neural approach for solving RMDPs that are expressed in the probabilistic planning language of RDDL. SymNet trains a set of shared parameters for an RDDL domain using training instances from that domain. For each instance, SymNet first converts it to an instance graph and then uses relational neural models to compute node embeddings. It then scores each ground action as a function over the first-order action symbols and node embeddings related to the action. Given a new test instance from the same domain, SymNet architecture with pre-trained parameters scores each ground action and chooses the best action. This can be accomplished in a single forward pass without any retraining on the test instance, thus implicitly representing a neural generalized policy for the whole domain. Our experiments on nine RDDL domains from IPPC demonstrate that SymNet policies are significantly better than random and sometimes even more effective than training a state-of-the-art deep reactive policy from scratch.

研究动机与目标

• 解决在无限问题实例上学习有效、通用策略的长期挑战，适用于关联马尔可夫决策过程（RMDPs）。
• 通过利用神经网络的表示能力，克服符号基函数方法的局限性，重振基于 RMDP 的规划研究。
• 开发一种领域无关、参数共享的神经架构，可在不重新训练的情况下泛化至不同规模的问题实例。
• 利用预训练参数在新、可能更大的测试实例上实现高效推理，从而为整个领域学习单一神经策略。

提出的方法

• 将每个 RDDL 问题实例转换为实例图，其中节点表示对象元组，边表示动作引发的谓词交互。
• 使用图神经网络（GNN）从关联状态特征计算节点嵌入，捕捉状态中的结构和语义关系。
• 将每个实例化动作的得分表示为其一阶符号与相关对象元组嵌入的函数，通过神经打分实现动作选择。
• 在来自同一领域的若干训练实例上，使用强化学习端到端训练整个模型，并在所有实例间共享所有参数。
• 将预训练的 SymNet 模型应用于任何新的测试实例时，仅需一次前向传播，无需微调，即可生成通用策略。
• 利用 RDDL 中的一阶结构保持大小不变性与领域无关性，实现对不同规模问题实例的泛化。

实验结果

研究问题

• RQ1 神经网络能否有效表示 RMDPs 的通用策略，从而克服符号基函数方法的表示局限？
• RQ2 一个单一的、预训练的神经模型能否在不重新训练的情况下泛化至同一 RDDL 领域中多样化的实例？
• RQ3 预训练的、领域通用的神经策略性能与随机策略及针对特定实例训练的深度强化学习策略相比如何？
• RQ4 基于图的神经架构在多大程度上能够捕捉 RMDPs 中的关系结构与动作依赖性？

主要发现

• SymNet 在所有九个测试的 RDDL 领域中显著优于随机策略，展现出强大的泛化能力。
• 在 28% 的测试实例中，SymNet 的奖励高于从零开始在相同实例上训练的策略，表明其具备出色的零样本性能。
• 在 18 个实例中的 15 个上，SymNet 超过了 TraPSNet，表明针对动作符号的图结构可提升策略学习效果。
• 在四个领域（导航、野火等）中，尽管是离线策略，SymNet 仍超越了最先进的在线规划器 PROST。
• 在五个领域中，PROST 超过了 SymNet，表明 SymNet 的策略尚未达到近似最优，仍需进一步改进。
• 该模型能有效泛化至训练过程中未见的更大测试实例，证实其具备大小不变性与领域无关性。