[论文解读] My Body is a Cage: the Role of Morphology in Graph-Based Incompatible Control

Vitaly Kurin, Maximilian Igl+3 more|arXiv (Cornell University)|Oct 5, 2020

EEG and Brain-Computer Interfaces被引用 10

一句话总结

本文挑战了在基于图的强化学习中，形态结构能提升不兼容连续控制任务性能的假设。它提出了一种基于Transformer的Amorpheus方法，该方法忽略显式的形态图结构，并表明其显著优于依赖此类结构的GNN方法，证明仅靠节点特征即可实现有效的多任务学习。

ABSTRACT

Multitask Reinforcement Learning is a promising way to obtain models with better performance, generalisation, data efficiency, and robustness. Most existing work is limited to compatible settings, where the state and action space dimensions are the same across tasks. Graph Neural Networks (GNN) are one way to address incompatible environments, because they can process graphs of arbitrary size. They also allow practitioners to inject biases encoded in the structure of the input graph. Existing work in graph-based continuous control uses the physical morphology of the agent to construct the input graph, i.e., encoding limb features as node labels and using edges to connect the nodes if their corresponded limbs are physically connected. In this work, we present a series of ablations on existing methods that show that morphological information encoded in the graph does not improve their performance. Motivated by the hypothesis that any benefits GNNs extract from the graph structure are outweighed by difficulties they create for message passing, we also propose Amorpheus, a transformer-based approach. Further results show that, while Amorpheus ignores the morphological information that GNNs encode, it nonetheless substantially outperforms GNN-based methods that use the morphological information to define the message-passing scheme.

研究动机与目标

• 调查在基于图的强化学习中显式编码形态结构是否能提升不兼容连续控制任务的性能。
• 挑战广泛持有的假设，即物理形态带来的结构归纳偏差能增强图神经网络（GNN）的学习能力。
• 开发一种新方法，通过使用全连接注意力机制绕过稀疏连接图中消息传递的局限性。
• 证明当图结构对性能并非必要时，Transformer可在多任务强化学习中超越GNN。
• 提供实证证据表明，编码在GNN中的形态信息在连续控制环境中可能阻碍而非促进学习。

提出的方法

• Amorpheus使用基于Transformer的架构，而非图神经网络（GNN）来处理多任务强化学习中的状态和动作特征。
• 它将每个肢体或身体部位视为序列中的独立标记，实现所有节点之间的全注意力机制，无论其物理连接如何。
• 该模型使用多头自注意力机制，动态关注观测中相关部分，实现灵活的信息聚合，且不受消息传递约束。
• 与基于物理连接通过边传播信息的GNN不同，Amorpheus计算所有节点对之间的注意力分数，从而在推理时有效构建一个全连接图。
• 该方法使用标准深度强化学习算法进行端到端训练，每个非躯干节点独立输出其动作，从而实现因子化动作空间。
• 该架构设计为样本高效且鲁棒，避免在稀疏图中进行多跳消息传递。

实验结果

研究问题

• RQ1 在GNN的图结构中显式编码物理形态是否能提升多任务连续控制中的性能？
• RQ2 一种忽略形态结构的模型是否仍能在不兼容环境中实现优异性能？
• RQ3 基于物理连接的归纳偏差是否对GNN-based连续控制的学习产生负面影响？
• RQ4 全连接注意力机制是否能在该任务中超越GNN中的结构化消息传递？
• RQ5 结构无关模型在训练过程中是否会展现出任何涌现行为？

主要发现

• 消融实验表明，从SMP和NerveNet等基于GNN的方法中移除形态信息不会降低性能，表明结构归纳偏差并无益处。
• Amorpheus在不兼容连续控制基准测试中，无论最终性能还是样本效率，均显著优于基于GNN的基线方法。
• 该模型学习到非平凡的、周期性的注意力模式，与步态周期一致，表明其在无显式结构先验的情况下捕捉了时空协调性。
• 尽管忽略物理连接性，Amorpheus在形态各异的任务间仍表现出强大的泛化能力，表明仅靠节点特征即可实现有效的策略学习。
• 结果表明，稀疏连接图中的消息传递难以学习，且物理结构的归纳偏差可能阻碍而非促进学习。
• Amorpheus证明，即使输入图结构任意或无信息，Transformer也能有效处理连续控制中的因子化状态和动作空间。