[论文解读] Semi-Supervised Haptic Material Recognition for Robots using Generative Adversarial Networks

Zackory Erickson, Sonia Chernova+1 more|arXiv (Cornell University)|Jul 10, 2017

Industrial Vision Systems and Defect Detection被引用 23

一句话总结

该论文提出了一种用于机器人触觉材质识别的半监督生成对抗网络（GAN）框架，利用力、温度和振动特征，在仅92%训练数据为无标签的情况下实现了约90%的准确率。该方法通过利用无标签触觉数据显著提升了泛化能力，仅需少量有标签样本，便在低数据场景下优于监督基线方法。

ABSTRACT

Material recognition enables robots to incorporate knowledge of material properties into their interactions with everyday objects. For example, material recognition opens up opportunities for clearer communication with a robot, such as "bring me the metal coffee mug", and recognizing plastic versus metal is crucial when using a microwave or oven. However, collecting labeled training data with a robot is often more difficult than unlabeled data. We present a semi-supervised learning approach for material recognition that uses generative adversarial networks (GANs) with haptic features such as force, temperature, and vibration. Our approach achieves state-of-the-art results and enables a robot to estimate the material class of household objects with ~90% accuracy when 92% of the training data are unlabeled. We explore how well this approach can recognize the material of new objects and we discuss challenges facing generalization. To motivate learning from unlabeled training data, we also compare results against several common supervised learning classifiers. In addition, we have released the dataset used for this work which consists of time-series haptic measurements from a robot that conducted thousands of interactions with 72 household objects.

研究动机与目标

• 为解决机器人材质识别中高数据采集成本的问题，减少对有标签触觉数据的依赖。
• 通过在真实机器人交互过程中收集的无标签触觉数据，提升材质识别的泛化能力。
• 开发一种结合GAN与多模态触觉特征（力、温度、接触麦克风）的半监督学习框架，以提升性能。
• 评估模型在仅有少量或无有标签样本的情况下识别新、未见过物体的能力。
• 发布一个包含7,200次触觉交互与72种家用物品的综合性数据集，以支持未来研究。

提出的方法

• 该方法采用条件GAN架构，对有标签和无标签的触觉数据联合训练生成器与判别器。
• 生成器学习使用潜在码为每类材质合成逼真的触觉特征序列（力、温度、振动）。
• 判别器被训练以区分真实触觉样本与生成样本，并对材质类别进行分类，从而实现半监督学习。
• 模型结合有标签数据的监督损失与无标签数据的一致性正则化，以提升泛化能力。
• 该框架整合了多模态触觉特征：力（来自机器人的腕部传感器）、温度（通过主动热感测获得）、振动（通过接触麦克风采集）。
• 训练采用6折交叉验证，共100个周期，性能在有标签与无标签数据比例变化的条件下进行评估。

实验结果

研究问题

• RQ1 当仅有少量训练数据为有标签时，半监督GAN方法能否实现高材质识别准确率？
• RQ2 在低样本学习场景下，无标签数据的引入如何影响触觉材质识别的模型性能？
• RQ3 当仅有少量有标签样本时，模型能否对新、此前未见过的物体实现良好泛化？
• RQ4 在不同交互时长下，不同触觉模态（力、温度、接触麦克风）对识别准确率的贡献如何？
• RQ5 当有标签数据稀缺时，增加无标签数据量对模型准确率有何影响？

主要发现

• 当92%的训练数据为无标签时，半监督GAN实现了90%的材质识别准确率，表明在极小有标签数据下仍具有强大性能。
• 当每类仅有40个有标签样本（占数据集的4%）且每类有960个无标签样本时，模型准确率达到85.6%，相比无无标签数据的情况提升了10.8%。
• 使用力和温度特征时，交互4秒可实现95.3%的准确率，仅0.5秒接触时间也达到92.4%的准确率。
• 在1秒交互时长下，加入接触麦克风数据相比仅使用力和温度特征，识别准确率提升了1.5%。
• 在留一物体交叉验证中，当为新物体提供少量有标签样本时，模型保持了>90%的准确率，但若无任何有标签样本，性能下降约20%。
• 模型表明，增加无标签数据量可显著提升性能，且当无标签数据量超过有标签数据量时，性能提升最为明显。