[论文解读] Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objects

Chuanruo Ning, Ruihai Wu+3 more|arXiv (Cornell University)|Sep 14, 2023

Robot Manipulation and Learning被引用 6

一句话总结

本文提出 Where2Explore，一种少样本可操作性学习框架，通过利用不同类别之间的几何相似性，使机器人能够高效探索并操作未见过的新类别铰接物体。通过使用相似性网络识别低相似度、高不确定性区域，模型引导最少且有针对性的交互，从而实现在同一类别中新实例上的快速泛化，仅使用 0.3% 的数据即可达到与全量数据训练相当的性能。

ABSTRACT

Articulated object manipulation is a fundamental yet challenging task in robotics. Due to significant geometric and semantic variations across object categories, previous manipulation models struggle to generalize to novel categories. Few-shot learning is a promising solution for alleviating this issue by allowing robots to perform a few interactions with unseen objects. However, extant approaches often necessitate costly and inefficient test-time interactions with each unseen instance. Recognizing this limitation, we observe that despite their distinct shapes, different categories often share similar local geometries essential for manipulation, such as pullable handles and graspable edges - a factor typically underutilized in previous few-shot learning works. To harness this commonality, we introduce 'Where2Explore', an affordance learning framework that effectively explores novel categories with minimal interactions on a limited number of instances. Our framework explicitly estimates the geometric similarity across different categories, identifying local areas that differ from shapes in the training categories for efficient exploration while concurrently transferring affordance knowledge to similar parts of the objects. Extensive experiments in simulated and real-world environments demonstrate our framework's capacity for efficient few-shot exploration and generalization.

研究动机与目标

• 解决机器人操作策略在极少真实交互情况下泛化到未见过的铰接物体类别所面临的挑战。
• 克服实例级少样本学习效率低下的问题，后者需要在测试时对每个物体进行交互。
• 利用不同物体类别间共享的局部几何结构（如把手、边缘）以提升跨类别泛化能力。
• 开发一种探索策略，优先关注新物体上不确定但语义关键的区域。
• 仅通过少量交互，在未见过的同类实例上实现强大的泛化性能。

提出的方法

• 该框架使用点级别的可操作性表征，从已知物体类别中编码详细的语义和几何先验信息。
• 通过在分割的训练数据上采用跨类别监督策略，训练相似性网络以度量新物体部件与已知类别的几何相似性。
• 系统将新物体上低相似度区域识别为高优先级交互区域，表明这些区域存在不确定性但可能包含关键的操作特征。
• 通过在这些识别出的区域进行少量交互的微调实现少样本适应，从而实现对同一类别中未见实例的迁移。
• 该方法将几何相似性与可操作性预测整合到统一框架中，实现高效、跨类别的少样本学习。
• 该方法在模拟环境和真实世界环境中均进行了评估，交互预算有限（例如 5 次交互）。

实验结果

研究问题

• RQ1 能否利用不同物体类别之间的几何相似性，以指导对未见过的新类别的高效探索？
• RQ2 在仅进行几次交互后，少样本学习框架如何将可操作性知识泛化到新类别中的未见实例？
• RQ3 通过利用类别间局部几何共性（如把手、边缘）是否能提升探索效率和泛化性能，相比随机或非基于相似性的策略？
• RQ4 在仅用少数已知类别进行训练的情况下，模型在完全新颖类别上表现如何，且仅需极少的真实世界交互？

主要发现

• 在 5 次交互预算下，Where2Explore 在未见过的马克杯实例上实现了 39.5% 的成功率，显著优于基线方法 No-explore（12.1%）和 Explore-random（21.6%）。
• 在新类别中的拉取可操作性任务上，该方法实现了 41.6% 的 F-score，超过最佳基线方法 Explore-noSim 的 30.2%。
• 在推力任务中，Where2Explore 达到了 35.4% 的 F-score，而 No-explore 为 20.6%，Explore-random 为 28.8%。
• 尽管仅使用了全量训练数据的 0.3%，Where2Explore 的性能仍接近全量数据基线（F-score 为 47.9），证明了其极高的数据效率。
• 定性结果表明，相似性模块成功识别出不确定但关键的区域（如关节极限、新型把手），即使在真实世界的马克杯上也能实现有效探索。
• 该框架在探索后能泛化到同一新类别中的未见物体，证实其具备超越初始交互集的知识迁移能力。