[论文解读] Where2Act: From Pixels to Actions for Articulated 3D Objects

Kaichun Mo, Leonidas Guibas+3 more|arXiv (Cornell University)|Jan 7, 2021

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出 Where2Act，一种深度学习框架，通过 RGB-D 输入预测像素级可操作性分数、交互提议及操作成功概率，用于操控刚性 3D 物体。该框架在模拟环境（SAPIEN）中采用在线、在线策略的数据采样策略，高效学习通用且动作特定的表征，实现对新形状和未见物体类别的强零样本泛化性能。

ABSTRACT

One of the fundamental goals of visual perception is to allow agents to meaningfully interact with their environment. In this paper, we take a step towards that long-term goal -- we extract highly localized actionable information related to elementary actions such as pushing or pulling for articulated objects with movable parts. For example, given a drawer, our network predicts that applying a pulling force on the handle opens the drawer. We propose, discuss, and evaluate novel network architectures that given image and depth data, predict the set of actions possible at each pixel, and the regions over articulated parts that are likely to move under the force. We propose a learning-from-interaction framework with an online data sampling strategy that allows us to train the network in simulation (SAPIEN) and generalizes across categories. Check the website for code and data release: https://cs.stanford.edu/~kaichun/where2act/

研究动机与目标

• 使智能体能够仅从视觉输入预测刚性 3D 物体上的局部化、可操作交互（例如推、拉）。
• 学习跨新物体形状和类别的动作特定、夹爪感知的视觉表征。
• 开发一种高效的交互式学习框架，利用自适应采样提升训练过程的数据效率。
• 在 SAPIEN 模拟器中构建基准，用于评估在 972 种形状、15 种室内物体类别上的动作预测性能。
• 弥合被动语义理解（例如部件分割）与主动操控之间的差距，预测可行且可执行的动作。

提出的方法

• 该模型采用新颖的神经网络架构，为每个像素预测可操作性分数、交互轨迹提议及六种基本动作（例如推、拉、拉起）的成功概率。
• 采用在线策略的在线数据采样策略，将探索偏向于预测为成功的动作，从而在基于交互的训练中提升数据效率。
• 训练在 SAPIEN 模拟器中进行，使用 PartNet-Mobility 数据集，支持对 972 种 3D 物体形状在 15 个类别中的交互。
• 网络通过交互结果进行端到端训练，作为自监督信号——状态变化成功的样本标记为正例，其余为负例。
• 该框架在合成数据和真实世界 3D 扫描及 2D 图像上进行评估，展示了对真实世界数据的零样本迁移能力。
• 可操作性预测同时依赖于动作类型和夹爪朝向，支持朝向感知的交互规划。

实验结果

研究问题

• RQ1 基于视觉的模型能否仅使用 RGB-D 输入，为刚性 3D 物体的每个像素预测可操作性及交互提议？
• RQ2 在线、在线策略的数据采样在提升学习操控策略的样本效率方面有多有效？
• RQ3 在合成数据上训练的模型在真实世界环境中对新物体形状和未见物体类别的泛化能力如何？
• RQ4 动作特定和夹爪朝向感知的表征在多大程度上提升了交互预测的准确性和定位精度？
• RQ5 模型能否基于几何和结构线索，区分可推区域与可拉区域（例如把手与平面）？

主要发现

• 所提出的 Where2Act 框架实现了强大的零样本泛化性能，成功预测了训练期间未见过的新物体类别的动作。
• 在线数据采样（OS）策略显著提升了性能，消融实验验证了其在可操作性与成功预测指标上的持续增益。
• 该模型学习到高度局部化的可操作性预测，能正确识别把手和部件边界作为拉取的优先目标，同时将平面区域标记为适合推的动作。
• 对于方向性动作（例如左推、上拉），网络能生成与物理可行性及机器人运动学一致的朝向感知交互提议。
• 该模型在真实世界数据上表现出有效的泛化能力，在 Replica 和 Google Scanned Objects 的 3D 扫描，以及 2D 图像上均生成了合理的可操作性分数和交互提议。
• 定性结果表明，网络能区分向左拉（对开门效果较差）与向上拉（效果更好）等动作，体现出对物体机械功能的深层理解。