[论文解读] Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning

Richard Li, Allan Jabri+2 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 63被引用 21

一句话总结

该论文提出了一种基于图神经网络（GNNs）与注意力机制的关系强化学习框架，以实现在多物体操作任务中的数据高效、零样本泛化。通过结合逐步增加物体数量的课程学习策略与关系推理的归纳偏置，该方法实现了样本效率，并能泛化到未见过的配置（如金字塔和更高塔）而无需进一步训练。

ABSTRACT

Learning robotic manipulation tasks using reinforcement learning with sparse rewards is currently impractical due to the outrageous data requirements. Many practical tasks require manipulation of multiple objects, and the complexity of such tasks increases with the number of objects. Learning from a curriculum of increasingly complex tasks appears to be a natural solution, but unfortunately, does not work for many scenarios. We hypothesize that the inability of the state-of-the-art algorithms to effectively utilize a task curriculum stems from the absence of inductive biases for transferring knowledge from simpler to complex tasks. We show that graph-based relational architectures overcome this limitation and enable learning of complex tasks when provided with a simple curriculum of tasks with increasing numbers of objects. We demonstrate the utility of our framework on a simulated block stacking task. Starting from scratch, our agent learns to stack six blocks into a tower. Despite using step-wise sparse rewards, our method is orders of magnitude more data-efficient and outperforms the existing state-of-the-art method that utilizes human demonstrations. Furthermore, the learned policy exhibits zero-shot generalization, successfully stacking blocks into taller towers and previously unseen configurations such as pyramids, without any further training.

研究动机与目标

• 解决在稀疏奖励下，多物体操作任务中强化学习数据效率低下的挑战。
• 克服因缺乏关系推理的归纳偏置而导致课程学习在多物体任务中失效的问题。
• 实现在未见过的配置（如金字塔和更长塔）下的零样本泛化，且无需额外训练。
• 设计一种样本高效的强化学习框架，仅使用稀疏奖励和简单课程从零开始学习。

提出的方法

• 该方法采用基于注意力机制的图神经网络的关系神经网络（ReNN），以建模物体之间的交互关系。
• ReNN计算物体之间的注意力分数，使代理在操作动作中聚焦于相关积木。
• 采用课程策略，逐步增加积木数量，从2个增至6个，仅在代理掌握当前阶段后才进入下一阶段。
• 策略通过深度强化学习进行训练，仅使用稀疏终端奖励，不依赖密集奖励或人类示范。
• 模型通过关注相关物体，将复杂任务分解为子问题，从而实现在任务间的迁移。
• 该框架在仿真环境中训练，并在未见过的配置和物体数量上进行泛化性评估。

实验结果

研究问题

• RQ1 具有关系推理归纳偏置的关系强化学习框架，是否能提升多物体操作中的数据效率？
• RQ2 课程学习是否因分布偏移而在多物体任务中失效？关系归纳偏置能否缓解此问题？
• RQ3 在堆叠塔任务上训练的代理，能否零样本泛化到更高塔和非塔配置（如金字塔）？
• RQ4 GNN中的注意力模式如何反映任务分解并支持泛化？

主要发现

• 代理仅使用稀疏奖励和简单课程，成功将六个积木堆叠成塔，样本效率比先前最先进方法高出数个数量级。
• 该方法实现了对七块积木堆叠成塔以及金字塔配置的零样本泛化，这些配置在训练中均未出现过。
• 在四块积木塔上训练的代理在金字塔任务上表现优于在六块积木塔上训练的代理，表明后者在垂直堆叠任务上存在过拟合。
• 注意力可视化显示，模型最关注待放置的积木，对堆叠中下方的积木关注较少，表明实现了有效的任务分解。
• 该框架优于一种使用人类示范的最先进方法，证明了关系归纳偏置相较于模仿学习的价值。
• 从稀疏奖励优化中自然涌现出诸如推开积木以抓取其他积木、同时抓取两块积木等行为。