[论文解读] Robot Vision Architecture for Autonomous Clothes Manipulation

Li Sun, Gerardo Aragón-Camarasa+2 more|arXiv (Cornell University)|Oct 18, 2016

Robot Manipulation and Learning参考文献 19被引用 3

一句话总结

本文提出了一种新颖的分层机器人视觉架构，用于实现衣物配置的自主3D感知，通过定制的双目视觉系统与双臂机器人协作，实现了灵巧操作。该方法在自主抓取任务中表现出色，并首次展示了完全自主的双臂熨平系统，与单臂或基于Kinect的方法相比，操作迭代次数减少了50%以上。

ABSTRACT

This paper presents a novel robot vision architecture for perceiving generic 3D clothes configurations. Our architecture is hierarchically structured, starting from low-level curvatures, across mid-level geometric shapes \& topology descriptions; and finally approaching high-level semantic surface structure descriptions. We demonstrate our robot vision architecture in a customised dual-arm industrial robot with our self-designed, off-the-self stereo vision system, carrying out autonomous grasping and dual-arm flattening. It is worth noting that the proposed dual-arm flattening approach is unique among the state-of-the-art robot autonomous system, which is the major contribution of this paper. The experimental results show that the proposed dual-arm flattening using stereo vision system remarkably outperforms the single-arm flattening and widely-cited Kinect-based sensing system for dexterous manipulation tasks. In addition, the proposed grasping approach achieves satisfactory performance on grasping various kind of garments, verifying the capability of proposed visual perception architecture to be adapted to more than one clothing manipulation tasks.

研究动机与目标

• 解决机器人领域中可变形物体操作缺乏通用、可复用视觉架构的问题。
• 克服现有针对特定传感器的、临时性解决方案在衣物感知与操作中的局限性。
• 开发一种能够解析复杂3D衣物配置、支持多种操作任务的感知系统。
• 利用高质量深度传感实现高效、自主的双臂衣物熨平，以处理褶皱衣物。
• 证明定制双目视觉系统在灵巧操作任务中优于商业RGB-D传感器（如Kinect）的性能。

提出的方法

• 设计一种分层视觉感知架构，从低层次的曲率特征到高层次的语义表面结构，逐步处理3D视觉特征。
• 集成高分辨率、市售的主动双目立体视觉头，并使用针对衣物纹理和深度精度优化的GPU加速立体匹配算法。
• 完成双目视觉系统与双臂机器人之间的手眼标定，实现操作所需的精确空间对齐。
• 通过3D表面形状与拓扑分析检测关键衣物特征，如褶皱和抓取三重点。
• 实施感知-操作循环，利用视觉反馈指导双臂协作的迭代熨平动作。
• 采用双臂策略，施加对称且协调的力，以比单臂方法更高效地熨平长褶皱。

实验结果

研究问题

• RQ1 能否设计一种通用的分层视觉架构，以支持多种操作任务的3D衣物配置解析？
• RQ2 与商业RGB-D传感器（如Kinect）相比，定制的高分辨率双目视觉系统在灵巧衣物操作中的性能如何？
• RQ3 与单臂或基于桌面的方法相比，双臂熨平策略在多大程度上减少了所需的操作迭代次数？
• RQ4 所提出的视觉架构能否在多种衣物类型中稳健检测抓取点和结构特征（如褶皱）？
• RQ5 将高质量深度传感与语义3D解析相结合，是否能显著提升自主衣物操作的成功率与效率？

主要发现

• 所提出的双臂熨平系统将平均迭代次数（RNI）降低至毛巾4.7次、短裤6.3次、T恤8.9次，展示了在不同衣物类型中的适应能力。
• 双臂熨平的平均迭代次数仅为4.7次，而单臂熨平为9.5次，效率提升超过50%。
• 与类似Kinect的Xtion传感器相比，定制双目视觉系统将RNI减少了一半以上，主要得益于更高的深度分辨率和更低的噪声（高频噪声低于0.5cm）。
• 该双目视觉头能够准确检测长褶皱并精确估计位移，避免了低质量深度传感器常出现的将长褶皱误分为多个短褶皱的问题。
• 抓取方法在多种衣物类型中均表现出稳健性能，证实了感知架构在多种任务中的适应能力。
• 分层视觉架构通过检测并量化如褶皱和抓取三重点等关键特征，成功解析了复杂的3D配置，从而支持可靠的操纵规划。