[论文解读] Understanding hand-object manipulation by modeling the contextual relationship between actions, grasp types and object attributes

Minjie Cai, Kris Kitani+1 more|arXiv (Cornell University)|Jul 22, 2018

Robot Manipulation and Learning参考文献 40被引用 11

一句话总结

该论文提出了一种统一的深度学习框架，通过利用功能、物理和空间上下文关系，联合建模抓握类型、物体属性和操作动作，实现了在第一人称HOM数据集上的最先进性能，相较于仅基于外观的基线方法，准确率有显著提升。

ABSTRACT

This paper proposes a novel method for understanding daily hand-object manipulation by developing computer vision-based techniques. Specifically, we focus on recognizing hand grasp types, object attributes and manipulation actions within an unified framework by exploring their contextual relationships. Our hypothesis is that it is necessary to jointly model hands, objects and actions in order to accurately recognize multiple tasks that are correlated to each other in hand-object manipulation. In the proposed model, we explore various semantic relationships between actions, grasp types and object attributes, and show how the context can be used to boost the recognition of each component. We also explore the spatial relationship between the hand and object in order to detect the manipulated object from hand in cluttered environment. Experiment results on all three recognition tasks show that our proposed method outperforms traditional appearance-based methods which are not designed to take into account contextual relationships involved in hand-object manipulation. The visualization and generalizability study of the learned context further supports our hypothesis.

研究动机与目标

• 通过联合建模抓握类型、物体属性和动作，而非独立处理，以提升手-物体操作的识别性能。
• 通过利用上下文关系，解决现实场景中的挑战，如遮挡、杂乱背景和有限的训练数据。
• 开发一种鲁棒且可泛化的框架，利用语义和空间上下文，以提升第一人称视觉设置下的性能。
• 证明从一个数据集中学到的上下文关系能够良好泛化到另一个数据集，支持其作为视觉系统中共享知识的使用。

提出的方法

• 开发一种统一的深度学习架构，通过利用上下文先验，联合识别抓握类型、物体属性和动作。
• 引入三种类型的上下文关系：功能关系（动作-抓握-物体约束）、物理关系（抓握-物体兼容性）和空间关系（手-物体接近度和姿态）。
• 采用专用的CNN同时检测手和物体，通过建模空间关系，提升在杂乱场景中的定位性能。
• 应用迭代推理机制，利用上下文约束共同优化所有三项识别任务。
• 使用深层CNN提取抓握、物体和动作识别的视觉特征，并在推理过程中进行上下文感知的优化。
• 采用跨数据集训练和评估，以评估上下文关系的泛化能力。

实验结果

研究问题

• RQ1 通过利用上下文关系联合建模动作、抓握类型和物体属性，能否提升手-物体操作中的识别性能？
• RQ2 功能、物理和空间上下文关系在提升操作组件识别准确性方面分别起到何种作用？
• RQ3 在视觉分布不同的第一人称数据集之间，所学习的上下文关系在多大程度上具有泛化能力？
• RQ4 具有共享上下文的统一模型能否超越忽略任务间依赖关系的传统外观基线方法？
• RQ5 空间上的手-物体关系整合如何提升杂乱场景中物体检测和识别的性能？

主要发现

• 所提出的方法在所有三项任务——抓握类型、物体属性和动作识别——中均取得显著性能提升，优于仅基于外观的基线方法。
• 与基线方法相比，使用上下文关系使GTEA数据集上的动作分类准确率最高提升5.4%。
• 跨数据集评估表明，从一个数据集（GTEA）中学到的上下文关系能良好泛化到另一个数据集（GTEA Gaze），性能增益相当甚至更优。
• 泛化性研究证实，上下文关系在不同数据集间保持一致，表明其代表共享的、领域级知识。
• 对学习到的上下文进行可视化，揭示出与操作任务的物理和功能约束相符的有意义且可解释的模式。
• 迭代推理方法有效利用上下文优化预测，证明了联合优化相较于独立识别的价值。