[论文解读] Multi-Sensor Surface Analysis for Robotic Ironing

Yinxiao Li, Xiuhan Hu+4 more|arXiv (Cornell University)|Feb 16, 2016

Robotics and Sensor-Based Localization参考文献 20被引用 4

一句话总结

本文提出了一种基于概率的多传感器框架，通过融合基于深度的曲率扫描与基于光照的不连续性扫描，检测并分类可变形织物表面的永久褶皱，以实现机器人熨烫。通过结合基于Kinect的3D扫描与受控光照下的RGB成像，系统能够识别高曲率褶皱，并生成优化的熨烫路径，使Baxter机器人在35秒内有效去除褶皱，实现迭代熨烫。

ABSTRACT

Robotic manipulation of deformable objects remains a challenging task. One such task is to iron a piece of cloth autonomously. Given a roughly flattened cloth, the goal is to have an ironing plan that can iteratively apply a regular iron to remove all the major wrinkles by a robot. We present a novel solution to analyze the cloth surface by fusing two surface scan techniques: a curvature scan and a discontinuity scan. The curvature scan can estimate the height deviation of the cloth surface, while the discontinuity scan can effectively detect sharp surface features, such as wrinkles. We use this information to detect the regions that need to be pulled and extended before ironing, and the other regions where we want to detect wrinkles and apply ironing to remove the wrinkles. We demonstrate that our hybrid scan technique is able to capture and classify wrinkles over the surface robustly. Given detected wrinkles, we enable a robot to iron them using shape features. Experimental results show that using our wrinkle analysis algorithm, our robot is able to iron the cloth surface and effectively remove the wrinkles.

研究动机与目标

• 为解决可变形织物的自主机器人熨烫这一家庭机器人领域的关键瓶颈问题。
• 通过表面分析检测并分类永久褶皱（与平滑、可展变形相区别）。
• 使机器人能够基于检测到的褶皱规划并执行熨烫动作，实现最小化运动与最优对齐。
• 将多传感器数据（深度与光照）整合到概率框架中，实现鲁棒的褶皱检测。
• 在Baxter机器人上展示从检测到执行的完整熨烫流程，优于先前在衣物操作方面的研究。

提出的方法

• 使用Kinect深度传感器执行曲率扫描，通过Hessian矩阵计算与体积估计识别织物表面的高度偏差（凸起），以检测显著变形。
• 使用两个光源创建受控光照，增强褶皱周围表面梯度变化，突出显示不连续性。
• 使用支持向量机（SVM）分类器对人工标注的不连续区域进行训练，以检测如永久褶皱等尖锐表面特征。
• 采用概率多传感器融合模型，结合曲率与不连续性结果，对变形进行分类与排序，以区分可去除的凸起与可熨烫的褶皱。
• 将检测到的褶皱表示为线段，并按优化的熨烫路径排序，以最小化机器人运动与对齐开销。
• Baxter机器人使用位置控制执行熨烫，将熨斗对准每个检测到的褶皱，并根据路径规划执行迭代熨烫。

实验结果

研究问题

• RQ1 如何通过在可变形织物表面鲁棒检测永久褶皱，实现机器人熨烫？
• RQ2 何种多传感器融合策略可实现对平滑高度凸起与尖锐不连续性（褶皱）的准确区分，且无需精确标定？
• RQ3 如何表示与排序检测到的褶皱，以最小化机器人运动并提升熨烫效率？
• RQ4 基于位置控制的机器人在仅依赖表面分析与路径规划的情况下，能在多大程度上有效去除褶皱？
• RQ5 结合深度与基于光照的传感的混合扫描方法，是否在检测细微、高曲率褶皱方面优于单一传感器方法？

主要发现

• 混合曲率与不连续性扫描方法在标准Kinect传感器的低分辨率深度数据上仍能高鲁棒性地检测到永久褶皱。
• 结合基于深度的凸起检测与基于光照的不连续性扫描，实现了对褶皱的精确分类，显著降低了由平滑变形引起的误报。
• 采用概率多传感器模型提升了检测可靠性，使系统能够有效区分可去除的凸起与可熨烫的褶皱。
• 优化的熨烫路径将总熨烫时间缩短至约35秒，适用于具有多个褶皱的衣物，优于非优化或随机路径。
• 实验结果表明，Baxter机器人能够迭代熨烫检测到的褶皱，并生成肉眼可见的无褶皱表面，验证了表面分析流程的有效性。