[论文解读] TarGF: Learning Target Gradient Field to Rearrange Objects without Explicit Goal Specification

Mingdong Wu, Fangwei Zhong+2 more|arXiv (Cornell University)|Sep 2, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 TarGF，一种基于分数的模型，通过从示例布局中学习目标梯度场，以在无显式目标指定的情况下引导物体重排。通过估计目标分布的对数密度梯度，TarGF 为基于模型的规划和强化学习提供逐物体的引导，显著优于当前最先进（SOTA）方法，在球体和房间重排任务中的终端状态质量、效率和可扩展性方面表现更优。

ABSTRACT

Object Rearrangement is to move objects from an initial state to a goal state. Here, we focus on a more practical setting in object rearrangement, i.e., rearranging objects from shuffled layouts to a normative target distribution without explicit goal specification. However, it remains challenging for AI agents, as it is hard to describe the target distribution (goal specification) for reward engineering or collect expert trajectories as demonstrations. Hence, it is infeasible to directly employ reinforcement learning or imitation learning algorithms to address the task. This paper aims to search for a policy only with a set of examples from a target distribution instead of a handcrafted reward function. We employ the score-matching objective to train a Target Gradient Field (TarGF), indicating a direction on each object to increase the likelihood of the target distribution. For object rearrangement, the TarGF can be used in two ways: 1) For model-based planning, we can cast the target gradient into a reference control and output actions with a distributed path planner; 2) For model-free reinforcement learning, the TarGF is not only used for estimating the likelihood-change as a reward but also provides suggested actions in residual policy learning. Experimental results in ball and room rearrangement demonstrate that our method significantly outperforms the state-of-the-art methods in the quality of the terminal state, the efficiency of the control process, and scalability.

研究动机与目标

• 解决在无显式目标指定的环境中进行物体重排的问题，其中定义目标状态或奖励函数具有困难。
• 使智能体仅通过一组示例目标布局学习有效的重排策略，避免昂贵的专家示范。
• 开发一种方法，为控制提供运动引导和奖励信号，而无需依赖手工设计的奖励或目标条件监督。
• 提升在复杂、类真实世界环境中物体重排的质量、效率和可扩展性。

提出的方法

• 通过去噪分数匹配训练目标分数网络，以估计目标分布的对数密度梯度，形成目标梯度场（TarGF）。
• 利用 TarGF 生成指向目标分布高密度区域的逐物体伪速度，引导物体运动。
• 将 TarGF 集成到基于模型的路径规划器（如 ORCA）中，生成无碰撞、高效的物体重排轨迹。
• 从 TarGF 推导出基于似然变化的奖励信号，用于强化学习，实现在无专家轨迹情况下的奖励塑造。
• 在无模型强化学习框架（如 SAC）中，将 TarGF 与残差策略网络结合，提升样本效率和策略性能。
• 通过将状态示例渲染为图像，扩展方法至图像输入，用于训练分数网络，实现视觉奖励学习。

实验结果

研究问题

• RQ1 基于分数的模型能否仅从一组示例布局中学习到有意义的目标梯度场，而无需显式目标指定？
• RQ2 所学习的目标梯度场在物体重排中引导规划和强化学习的效率如何？
• RQ3 在复杂、高维环境中，TarGF 是否能相比 SOTA 方法提升终端配置的质量和效率？
• RQ4 TarGF 在不同动力学（如速度控制和力控制）下是否具备泛化能力？
• RQ5 该方法能否在实现高质量状态的同时保持最终配置的多样性，避免模式崩溃？

主要发现

• 基于 TarGF 的方法在终端状态质量方面显著优于 SOTA 基线，表现为潜在分布平均熵更低（0.0037 vs. 0.0066，对应真实值），且更全面地覆盖所有目标模式。
• 在球体重排任务中，TarGF 引导的规划方法相比 ORCA 和 SQIL 基线，路径长度更短、碰撞次数更少，收敛速度更快。
• 即使采用基于图像的奖励学习，该方法性能仍与基于 SAC 的基线相当，尽管由于输入维度更高，效率略有下降。
• 在力控动力学下，基于 TarGF 的 PID 控制器性能接近 SAC，表现出对控制动力学和误差的鲁棒性。
• 采用 TarGF 进行物体选择（通过梯度幅值）的双层策略在定性和定量指标上均优于基于目标的基线。
• 重排结果的平均潜在分布与真实模式中心高度一致，表明对多样化目标配置的有效覆盖。