[论文解读] Transfer of Tool Affordance and Manipulation Cues with 3D Vision Data

Paulo Abelha, Frank Guérin|arXiv (Cornell University)|Oct 13, 2017

Robot Manipulation and Learning参考文献 25被引用 9

一句话总结

本文提出一种任务驱动的系统，利用3D视觉数据通过将任务特定目标投射到候选工具上，实现工具功能与操作提示的迁移，使机器人能够识别有效的替代工具及最优抓握/使用配置。该方法在选择合适工具方面达到91%的准确率，显著优于先前工作，通过将自顶向下的任务功能与自底向上的几何特征分析相结合，实现工具属性的端到端迁移学习。

ABSTRACT

Future service robots working in human environments, such as kitchens, will face situations where they need to improvise. The usual tool for a given task might not be available and the robot will have to use some substitute tool. The robot needs to select an appropriate alternative tool from the candidates available, and also needs to know where to grasp it, how to orient it and what part to use as the end-effector. We present a system which takes as input a candidate tool's point cloud and weight, and outputs a score for how effective that tool is for a task, and how to use it. Our key novelty is in taking a task-driven approach, where the task exerts a top-down influence on how low level vision data is interpreted. This facilitates the type of 'everyday creativity' where an object such as a wine bottle could be used as a rolling pin, because the interpretation of the object is not fixed in advance, but rather results from the interaction between the bottom-up and top-down pressures at run-time. The top-down influence is implemented by transfer: prior knowledge of geometric features that make a tool good for a task is used to seek similar features in a candidate tool. The prior knowledge is learned by simulating Web models performing the tasks. We evaluate on a set of fifty household objects and five tasks. We compare our system with the closest one in the literature and show that we achieve significantly better results

研究动机与目标

• 使服务机器人在标准工具不可用时，能够在人类环境中自主创新地使用工具。
• 通过结合自顶向下的任务目标与自底向上的3D视觉特征，解决同类工具间的差异性与跨类工具迁移问题。
• 开发一种灵活、实时的系统，对候选工具进行任务适用性评分，并推荐抓握与姿态策略。
• 通过引入基于‘投影’的任务驱动解释，克服纯自底向上的功能识别方法的局限性。
• 在真实世界家庭物品与任务上评估系统，证明其性能显著优于现有方法。

提出的方法

• 系统以候选工具的3D点云和重量数据为输入，计算平面、边缘和凹形等几何特征。
• 采用一种‘投影’技术，将任务特定目标（如滚动、举起）映射到工具特征上，解释其哪些部分可作为抓握点或操作点。
• 从模拟Web模型执行任务中学习任务函数，指导基于数据匹配度与任务相关性的最佳候选工具选择。
• 通过平衡拟合分数（特征与预期工具几何形状的匹配程度）与任务函数值（工具支持任务的能力），计算最终的有效性得分。
• 系统在多种潜在抓握方式与姿态中进行搜索，选择针对当前任务得分最高的配置。
• 消融研究证实，拟合与任务函数两部分均不可或缺，最优平衡下可达到91%的准确率。

实验结果

研究问题

• RQ1 当标准工具不可用时，机器人如何识别适用于特定任务的有效替代工具？
• RQ2 自顶向下的任务目标在多大程度上可引导对自底向上的3D视觉特征进行工具功能解释？
• RQ3 在真实场景中，学习到的任务函数能否提升合适工具与操作策略的选择能力？
• RQ4 几何匹配度与任务相关性相结合，对工具替代任务的性能有何影响？
• RQ5 平衡拟合与任务函数组件对整体系统准确率有何影响？

主要发现

• 该系统在选择有效替代工具方面达到91%的成功率，显著优于最接近的基线方法。
• 消融研究证实，平衡拟合分数与任务函数值可实现最优性能，准确率达到91%；若失衡则降至85%。
• 任务驱动的‘投影’集成实现了有效的跨类工具迁移，例如将酒瓶用作压面杖。
• 该方法通过基于功能相似性而非预定义类别来解释新型工具形状，成功处理了同类工具间的差异性。
• 学习到的任务函数在引导灵活推理及从众多可能解释中选择最优方案方面至关重要。
• 该方法表明，将自顶向下的任务目标与自底向上的3D特征分析相结合，可在非受限环境中实现鲁棒、实时的工具替代。