[论文解读] Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?

Brayan S. Zapata-Impata, Pablo Gil+1 more|arXiv (Cornell University)|Sep 14, 2018

Robot Manipulation and Learning参考文献 4被引用 14

一句话总结

本文提出了一种新颖的方法，将非矩阵触觉传感器（特别是BioTac SP传感器）解释为触觉图像，以使用卷积神经网络（CNN）预测抓握稳定性。通过采用定制的电极映射策略保留局部连接性，该方法在2,500次真实抓握的数据集上实现了94.2%的F1分数，展示了无需手工设计特征或本体感觉数据的最先进性能。

ABSTRACT

Tactile sensors supply useful information during the interaction with an object that can be used for assessing the stability of a grasp. Most of the previous works on this topic processed tactile readings as signals by calculating hand-picked features. Some of them have processed these readings as images calculating characteristics on matrix-like sensors. In this work, we explore how non-matrix sensors (sensors with taxels not arranged exactly in a matrix) can be processed as tactile images as well. In addition, we prove that they can be used for predicting grasp stability by training a Convolutional Neural Network (CNN) with them. We captured over 2500 real three-fingered grasps on 41 everyday objects to train a CNN that exploited the local connectivity inherent on the non-matrix tactile sensors, achieving 94.2% F1-score on predicting stability.

研究动机与目标

• 探索将非矩阵触觉传感器视为触觉图像的可行性，以利用局部连接性进行抓握稳定性预测。
• 通过在原始触觉读数上应用深度学习，消除对手工挑选特征或本体感觉数据的依赖。
• 通过迁移学习和数据增强，评估模型在未见物体上的泛化性能。
• 将CNN的性能与传统机器学习模型（SVM、MLP、随机森林）在相同任务上的表现进行比较。
• 研究不同的触觉图像构建策略对模型准确性和鲁棒性的影响。

提出的方法

• 使用三种不同的分布（D1、D2、D3）将BioTac SP传感器的24个非矩阵电极映射为2D触觉图像矩阵，以保留空间关系。
• 通过拼接手指特异性图像（食指、中指、拇指）构建三通道触觉图像，使CNN能够学习通道特异性特征。
• 使用批量归一化、Dropout和L2正则化训练一个轻量级CNN（CNN1），以防止在2,500次抓握的有限数据集上过拟合。
• 应用几何数据增强（翻转和±10°旋转）以增加训练数据的多样性，同时保持电极值的物理合理性。
• 使用10折交叉验证评估模型，并在保留的6种新物体数据集上测试泛化性能。
• 对图像和向量输入均进行z-score标准化，以确保模型间输入尺度的一致性。

实验结果

研究问题

• RQ1 非矩阵触觉传感器能否被有效解释为2D触觉图像，以保留用于抓握稳定性预测的局部连接性？
• RQ2 在抓握稳定性预测任务中，基于此类触觉图像训练的CNN是否优于传统机器学习模型（SVM、MLP、随机森林）？
• RQ3 电极映射策略的选择（D1、D2、D3）如何影响CNN的性能？
• RQ4 CNN在训练过程中未见的新型、未见过的物体上的泛化能力如何？
• RQ5 当训练数据有限时，数据增强能否提升CNN的泛化能力？

主要发现

• 所提出的方法在完整数据集上实现了94.2% ± 0.8%的F1分数，优于所有传统模型，代表了该任务的最先进性能。
• 三通道图像拼接策略表现最佳，因为它使CNN能够为每根手指学习独立的滤波器，从而在特征学习方面优于堆叠或展平表示。
• 随机森林在未知物体集上实现了90.2% ± 0.5%的F1分数，优于未增强的CNN（87.7% ± 0.4%），表明在低数据环境下需要数据增强。
• 通过几何变换（翻转、旋转）进行数据增强，使训练集规模扩大四倍，并将CNN在未知集上的F1分数提升至90.1% ± 0.4%，与随机森林性能相当。
• 在CNN架构中添加池化层导致性能下降，表明保留高分辨率触觉图像结构至关重要。
• 模型在多次运行中表现稳定（标准差较低），表明对数据打乱和训练变异性具有鲁棒性。