[论文解读] Single-Shot Clothing Category Recognition in Free-Configurations with Application to Autonomous Clothes Sorting

Li Sun, Gerardo Aragón-Camarasa+3 more|arXiv (Cornell University)|Jul 22, 2017

Industrial Vision Systems and Defect Detection参考文献 17被引用 5

一句话总结

本文提出一种基于2.5D深度数据和新型视觉特征（B-Spline Patch (BSP) 与 Topology Spatial Distances (TSD)）的单次拍摄服装类别识别系统，通过局部约束线性编码（LLC）进行编码。该方法在未见过的、自由配置的服装物品上实现了83.2%的准确率，相比之前最先进方法提升了36.2%，并实现了双臂机器人自主分拣。

ABSTRACT

This paper proposes a single-shot approach for recognising clothing categories from 2.5D features. We propose two visual features, BSP (B-Spline Patch) and TSD (Topology Spatial Distances) for this task. The local BSP features are encoded by LLC (Locality-constrained Linear Coding) and fused with three different global features. Our visual feature is robust to deformable shapes and our approach is able to recognise the category of unknown clothing in unconstrained and random configurations. We integrated the category recognition pipeline with a stereo vision system, clothing instance detection, and dual-arm manipulators to achieve an autonomous sorting system. To verify the performance of our proposed method, we build a high-resolution RGBD clothing dataset of 50 clothing items of 5 categories sampled in random configurations (a total of 2,100 clothing samples). Experimental results show that our approach is able to reach 83.2\% accuracy while classifying clothing items which were previously unseen during training. This advances beyond the previous state-of-the-art by 36.2\%. Finally, we evaluate the proposed approach in an autonomous robot sorting system, in which the robot recognises a clothing item from an unconstrained pile, grasps it, and sorts it into a box according to its category. Our proposed sorting system achieves reasonable sorting success rates with single-shot perception.

研究动机与目标

• 解决在任意、褶皱配置下识别服装类别的问题，因为传统RGB或边缘特征在遮挡和形变情况下会失效。
• 开发一种鲁棒的视觉表征方法，捕捉材料属性（如面料类型、刚性）而非易受遮挡影响的语义组件。
• 在训练数据有限的现实机器人系统中实现单次拍摄识别，避免依赖大规模深度学习。
• 将识别流程集成至双臂机器人系统中，实现自主服装分拣，减少感知-操作循环次数。
• 在包含50种未见服装物品、5个类别的2,100个样本的高分辨率RGBD数据集上验证性能。

提出的方法

• 该方法使用高分辨率机器人头部采集的2.5D立体深度数据，提取几何表面特征。
• 提出两种新型特征——B-Spline Patch (BSP) 和 Topology Spatial Distances (TSD)，以鲁棒地编码局部和全局形状特征，对形变具有鲁棒性。
• 使用局部约束线性编码（LLC）对局部BSP特征进行编码，以增强判别能力。
• 将编码后的局部特征与三种全局特征（LBP、SI 和 TSD）融合，以增强类别判别能力。
• 采用带有RBF核的支撑向量机（SVM）进行分类，并通过对数边际似然最大化进行优化。
• 将完整流程与立体视觉、服装实例检测及双臂操作集成，实现自主分拣。

实验结果

研究问题

• RQ1 仅使用2.5D深度数据，单次拍摄识别系统能否在任意、褶皱配置下对服装类别实现高准确率？
• RQ2 所提出的BSP与TSD特征表示在应对类内差异和遮挡方面，与FINDDD+BoF等现有方法相比表现如何？
• RQ3 该系统在训练中未见过的服装物品和类别上，泛化能力达到何种程度？
• RQ4 该识别流程能否成功集成至真实机器人系统中，实现服装的自主、单次拍摄分拣？
• RQ5 传感器质量（如机器人头部与标准深度相机）在非约束环境下对识别准确率有何影响？

主要发现

• 所提方法在未见过的服装物品上实现了83.2%的分类准确率，相比之前最先进水平的47%提升了36.2个百分点。
• 机器人头部传感器优于Asus Xtion，在同一数据集上分别实现83.2%与64.2%的准确率，归因于更高品质的深度图。
• L-S-T-B特征表示（结合BSP、LLC与TSD）准确率最高，相比基线方法如FINDDD+BoF高出19个百分点。
• 双臂机器人系统在自主分拣中整体成功率达到66%（50件中成功33件），衬衫类失败率较高，因其类内差异大。
• 失败主要源于视觉相似物品的分割错误、大件衣物的遮挡以及操作过程中的形变。
• 系统在真实部署中表现出鲁棒性，支持单次识别后进行迭代抓取，相比先前方法减少了感知-操作循环次数。