[论文解读] X-Ray: Mechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions

Michael Danielczuk, Anelia Angelova+2 more|arXiv (Cornell University)|Apr 20, 2020

Robot Manipulation and Learning参考文献 40被引用 14

一句话总结

X-Ray 是一种机械搜索算法，通过最小化学习到的占据分布的支持集，高效地从杂乱堆叠中提取被遮挡的目标物体。通过在合成 RGBD 数据上训练神经网络以预测目标物体的占据分布，X-Ray 在仿真和真实世界设置中均优于基线方法，在仿真中达到 82% 的成功率，在物理实验中达到 100% 的成功率，平均动作次数减少 17%。

ABSTRACT

For applications in e-commerce, warehouses, healthcare, and home service, robots are often required to search through heaps of objects to grasp a specific target object. For mechanical search, we introduce X-Ray, an algorithm based on learned occupancy distributions. We train a neural network using a synthetic dataset of RGBD heap images labeled for a set of standard bounding box targets with varying aspect ratios. X-Ray minimizes support of the learned distribution as part of a mechanical search policy in both simulated and real environments. We benchmark these policies against two baseline policies on 1,000 heaps of 15 objects in simulation where the target object is partially or fully occluded. Results suggest that X-Ray is significantly more efficient, as it succeeds in extracting the target object 82% of the time, 15% more often than the best-performing baseline. Experiments on an ABB YuMi robot with 20 heaps of 25 household objects suggest that the learned policy transfers easily to a physical system, where it outperforms baseline policies by 15% in success rate with 17% fewer actions. Datasets, videos, and experiments are available at https://sites.google.com/berkeley.edu/x-ray.

研究动机与目标

• 开发一种机械搜索策略，以高效地定位并从堆叠中提取被完全或部分遮挡的目标物体。
• 解决在非结构化环境中机器人目标搜索过程中感知与执行的遮挡与不确定性挑战。
• 创建一种数据驱动的策略，能够从合成数据泛化到真实世界机器人系统，而无需真实世界标注。
• 通过利用学习到的占据分布指导抓取选择，减少提取目标物体所需的动作数量。

提出的方法

• 在包含 100,000 张堆叠 RGBD 图像的合成数据集上训练深度神经网络，其中为单个目标物体标注了占据分布。
• 使用网络预测像素级占据分布，指示每个像素包含目标物体部分的可能性。
• 制定一种抓取策略，选择能最小化预测占据分布支持集（面积）的动作，从而减少暴露目标所需的动作数量。
• 将占据预测与分割掩码及抓取质量估计相结合，指导动作选择，同时降低对精确分割的依赖。
• 在仿真环境和真实 ABB YuMi 机器人上应用该策略，利用从合成图像到真实图像的迁移学习。
• 采用基于奖励的机制，优先选择能减少占据分布支持集的动作，以促进更快地暴露目标。

实验结果

研究问题

• RQ1 学习到的占据分布能否有效指导在被遮挡堆叠环境中的机械搜索？
• RQ2 在合成数据上训练的策略在使用真实传感器数据的真实世界机器人系统中泛化效果如何？
• RQ3 最小化占据分布的支持集是否能减少动作数量并提高目标物体提取的成功率？
• RQ4 在不同遮挡水平下，X-Ray 策略与基线策略相比，在动作效率和成功率方面表现如何？
• RQ5 该方法在多大程度上减少了对精确分割掩码或二值目标物体检测的依赖？

主要发现

• 在仿真中，X-Ray 在 1,000 组包含 15 个物体的堆叠中提取目标物体的成功率达到 82%，比表现最佳的基线高出 15%。
• 在真实 ABB YuMi 机器人上，X-Ray 在 20 组包含 25 种家用物品的物理堆叠中实现了 100% 的成功率，成功率比基线高出 15%。
• 在物理实验中，X-Ray 平均仅需 5 次动作即可提取目标物体，比基线策略减少 17%。
• 该策略的动作数量方差更低，所有成功轨迹均在 10 次动作内完成，而基线策略平均仅需 6 次动作。
• X-Ray 对不精确的分割掩码和部分可见性具有鲁棒性，在目标完全被遮挡时仍能保持性能。
• 该方法成功实现了从合成数据到真实世界部署的迁移，无需在真实数据上进行微调。