[论文解读] Robotic Waste Sorter with Agile Manipulation and Quickly Trainable Detector

Takuya Kiyokawa, Hiroki Katayama+3 more|arXiv (Cornell University)|Apr 2, 2021

Robotics and Sensor-Based Localization参考文献 99被引用 30

一句话总结

本文提出了一种结合无抓取推拉-投放操作与快速可训练深度学习检测器的机器人垃圾分类系统。通过使用机器人数据集采集系统和领域自适应技术（如直方图匹配、背景合成与物体缩放），该系统实现了高达79%的F1分数检测准确率，并在操作速度上比抓取-释放方式快1.9秒，从而实现在回收工厂中敏捷、实时的分拣。

ABSTRACT

Owing to human labor shortages, the automation of labor-intensive manual waste-sorting is needed. The goal of automating waste-sorting is to replace the human role of robust detection and agile manipulation of waste items with robots. To achieve this, we propose three methods. First, we provide a combined manipulation method using graspless push-and-drop and pick-and-release manipulation. Second, we provide a robotic system that can automatically collect object images to quickly train a deep neural-network model. Third, we provide a method to mitigate the differences in the appearance of target objects from two scenes: one for dataset collection and the other for waste sorting in a recycling factory. If differences exist, the performance of a trained waste detector may decrease. We address differences in illumination and background by applying object scaling, histogram matching with histogram equalization, and background synthesis to the source target-object images. Via experiments in an indoor experimental workplace for waste-sorting, we confirm that the proposed methods enable quick collection of the training image sets for three classes of waste items (i.e., aluminum can, glass bottle, and plastic bottle) and detection with higher performance than the methods that do not consider the differences. We also confirm that the proposed method enables the robot quickly manipulate the objects.

研究动机与目标

• 通过机器人技术实现检测与操作的自动化，以应对垃圾分类中的人力短缺问题。
• 减少用于基于深度学习的垃圾分类检测器训练数据收集与标注所需的时间与精力。
• 通过缓解数据集采集环境与真实分拣环境之间的领域偏移，提升检测的鲁棒性。
• 实现对新出现或未知垃圾物品的检测器快速再训练，且仅需极少人工干预。

提出的方法

• 安装在旋转平台上的机械手-视觉机器人臂可自动捕获目标垃圾物品的多视角图像。
• 通过增强现实标记自动完成标注，检测并标记边界框，无需人工输入。
• 领域自适应技术包括：通过缩放物体以匹配真实世界尺寸、使用均衡化直方图匹配以减少光照差异、通过背景合成使背景外观对齐。
• 采用组合式操作策略：利用无抓取推拉-投放实现速度优势，结合抓取-释放实现精度控制，运动规划经过优化以提升敏捷性。
• 将分拣现场的真实图像整合进训练集，以进一步提升检测性能。
• 利用少量真实世界数据集与经自适应处理的合成数据集联合微调检测器，以增强泛化能力。

实验结果

研究问题

• RQ1 机器人系统是否能比人工方法更高效地自动完成垃圾分类检测器的训练图像采集与标注？
• RQ2 领域自适应在减轻因训练与部署环境之间光照与背景差异导致的性能下降方面效果如何？
• RQ3 无抓取推拉-投放操作在垃圾分类任务中，是否在速度与成功率方面优于传统的抓取-释放方式？
• RQ4 将合成数据集自适应与真实世界微调相结合，能在多大程度上提升检测准确率？

主要发现

• 机器人数据集采集系统将图像采集与标注时间缩短至12.3秒，相比以往方法提升99.1%。
• 所提出的领域自适应方法使检测F1分数提升至79%，较未使用自适应的模型提升39%。
• 推拉-投放操作每件物品耗时3.3秒，比抓取-释放方式平均5.2秒快1.9秒。
• 在未使用自适应的情况下，系统平均F1分数为46%，而结合领域自适应与真实世界微调后提升至79%。
• 失败案例主要源于物体形状、表面粘附或阴影影响，表明当前标注鲁棒性存在局限。
• 在真实世界测试中，两种操作策略的成功率均超过61%，证实了系统的实际可行性。