[论文解读] PartAfford: Part-level Affordance Discovery from 3D Objects

Chao Xu, Yixin Chen+4 more|arXiv (Cornell University)|Feb 28, 2022

Robot Manipulation and Learning被引用 13

一句话总结

本文提出 PartAfford，一种新颖的任务，仅使用稀疏的可操作性标签和几何正则化，无需密集监督，即可在 3D 物体中发现部件级别的可操作性。该方法采用插槽注意力编码器实现无监督的部件抽象，采用多分支解码器实现重建、可操作性预测和长方体基元正则化，利用新构建的包含 25,000 多个 3D 物体及 24 种可操作性类别的数据集，在跨类别和具有挑战性的样本上实现了强大的泛化能力。

ABSTRACT

Understanding what objects could furnish for humans-namely, learning object affordance-is the crux to bridge perception and action. In the vision community, prior work primarily focuses on learning object affordance with dense (e.g., at a per-pixel level) supervision. In stark contrast, we humans learn the object affordance without dense labels. As such, the fundamental question to devise a computational model is: What is the natural way to learn the object affordance from visual appearance and geometry with humanlike sparse supervision? In this work, we present a new task of part-level affordance discovery (PartAfford): Given only the affordance labels per object, the machine is tasked to (i) decompose 3D shapes into parts and (ii) discover how each part of the object corresponds to a certain affordance category. We propose a novel learning framework for PartAfford, which discovers part-level representations by leveraging only the affordance set supervision and geometric primitive regularization, without dense supervision. The proposed approach consists of two main components: (i) an abstraction encoder with slot attention for unsupervised clustering and abstraction, and (ii) an affordance decoder with branches for part reconstruction, affordance prediction, and cuboidal primitive regularization. To learn and evaluate PartAfford, we construct a part-level, cross-category 3D object affordance dataset, annotated with 24 affordance categories shared among >25, 000 objects. We demonstrate that our method enables both the abstraction of 3D objects and part-level affordance discovery, with generalizability to difficult and cross-category examples. Further ablations reveal the contribution of each component.

研究动机与目标

• 为解决视觉可操作性学习中的空白，提出一种类人、稀疏监督范式，模拟人类在无密集标注情况下的可操作性学习方式。
• 提出一项新任务——PartAfford，即模型仅从物体级别的可操作性标签和 3D 几何信息中发现部件级别的可操作性。
• 开发一种自监督框架，仅通过集合级别监督和几何先验，联合完成 3D 部件抽象和可操作性发现。
• 构建一个大规模、部件级别、跨类别的 3D 可操作性数据集，涵盖 25,000 多个物体和 24 种可操作性类别，用于基准测试。
• 评估模型在困难样本和跨类别样本上的泛化能力，展示其在部件级别可操作性理解中的鲁棒性和可解释性。

提出的方法

• 该方法使用基于插槽注意力的编码器，将 3D 物体特征抽象为一组解耦的插槽变量，实现在无真实部件标注情况下的无监督聚类和部件抽象。
• 多分支解码器联合预测可操作性标签、重建 3D 部件和完整物体，并通过长方体基元正则化强制实现几何合理性。
• 该框架仅依赖可操作性集合监督和几何约束，避免对每个部件或每个像素进行密集标注。
• 通过多样化可操作性组合的对比学习监督，端到端训练模型，学习可操作性标签与抽象 3D 部件之间的对应关系。
• 插槽数量设置为每类物体可操作性标签的最大数量，以减少插槽与可操作性匹配中的歧义。
• 应用数据增强以增加可操作性组合的多样性，提升对比学习效果和模型泛化能力。

实验结果

研究问题

• RQ1 模型能否仅使用物体级别的可操作性标签和几何先验，无需密集监督，发现有意义的 3D 部件级别可操作性？
• RQ2 所提方法在未见的、跨类别的或具有挑战性的样本（如部件模糊或形状变化大）上的泛化能力如何？
• RQ3 几何基元正则化和插槽注意力抽象在提升部件发现和可操作性预测方面的贡献是什么？
• RQ4 数据增强如何影响模型学习解耦的可操作性-部件对应关系的能力？
• RQ5 该方法在发现与微小、复杂或功能上模糊的部件（如把手、照明装置）相关可操作性时存在哪些局限性？

主要发现

• 所提方法仅使用物体级别的可操作性标签和几何约束，成功发现部件级别的可操作性并重建 3D 部件，展示了在跨类别样本上的强大零样本泛化能力。
• 即使重建效果不完美，模型在微波炉（可开启）等具有挑战性的物体以及具有细粒度部件的物体上仍表现出良好的泛化能力。
• 消融实验表明，插槽注意力编码器和带几何正则化的多分支解码器均对性能至关重要，后者显著提升了形状合理性。
• 数据增强通过增加多样化可操作性组合带来的对比信号，极大提升了学习效率和模型性能。
• 失败案例主要源于细粒度形状重建困难以及对长方体假设的违反，尤其在小部件（如把手）上表现明显。
• 即使同一可操作性出现在多个插槽中，模型仍能学习将可操作性分配给相应部件；但过多插槽可能导致‘空’插槽分配，表明对歧义的关注。