[论文解读] Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network

Junli Gao, Zhaoji Huang+3 more|arXiv (Cornell University)|Feb 27, 2023

Tactile and Sensory InteractionsNeuroscience被引用 3

一句话总结

本文提出了一种视觉-触觉融合的深度学习模型 CNN-MSTCN，利用多尺度时间卷积网络（MS-TCN）从视觉和触觉数据中提取时间特征，实现实时机器人抓握过程中的滑移检测。该模型在包含50种日常物体的自定义数据集上实现了96.96%的准确率，优于基于LSTM的基线模型，并在不同触觉传感器之间表现出良好的泛化能力。

ABSTRACT

Humans can accurately determine whether the object in hand has slipped or not by visual and tactile perception. However, it is still a challenge for robots to detect in-hand object slip through visuo-tactile fusion. To address this issue, a novel visuo-tactile fusion deep neural network is proposed to detect slip, which is a time-dependent continuous action. By using the multi-scale temporal convolution network (MS-TCN) to extract the temporal features of visual and tactile data, the slip can be detected effectively. In this paper, a 7-dregree-of-freedom (7-DoF) robot manipulator equipped with a camera and a tactile sensor is used for data collection on 50 daily objects with different shapes, materials, sizes, and weights. Therefore, a dataset is built, where the grasping data of 40 objects and 10 objects are used for network training and testing, respectively. The detection accuracy is 96.96% based on the proposed model. Also, the proposed model is compared with a visuo-tactile fusion deep neural network (DNN) based on long short-term memory network (LSTM) on the collected dataset and a public dataset using the GelSight tactile sensor. The results demonstrate that the proposed model performs better on both dataset. The proposed model can help robots grasp daily objects reliably. In addition, it can be used in grasping force control, grasping policy generation and dexterous manipulation.

研究动机与目标

• 为解决在机器人抓握过程中通过多模态传感融合实现可靠抓握内滑移检测的挑战。
• 通过利用TCN相比LSTM等RNN的优势，改进连续滑移检测的时间特征提取。
• 开发一种鲁棒且可泛化的模型，使其在不同物体类型和触觉传感器模式下均表现良好。
• 构建一个全面的视觉-触觉数据集，用于基准测试真实世界机器人操作中的滑移检测。
• 探究仅使用触觉传感的局限性，特别是针对柔软、高度可变形物体的情况。

提出的方法

• 使用配备RealSense D455 RGB摄像头和XELA触觉传感器的7自由度机器人机械臂，在抓握和提起50种日常物体的过程中采集视觉-触觉数据。
• 视觉和触觉数据通过独立的流编码器处理，以提取时空特征，随后进行融合。
• 采用多尺度时间卷积网络（MS-TCN）对融合后的特征建模长程时间依赖性。
• MS-TCN使用空洞卷积并结合多个感受野，以捕捉不同时间尺度下的时间动态。
• 采用晚期融合策略，在全连接层进行最终分类前融合视觉与触觉特征。
• 模型在40个训练物体上端到端训练，并在10个保留的测试物体上进行评估。

实验结果

研究问题

• RQ1 多尺度时间卷积网络能否有效从视觉-触觉数据中提取时间特征，以实现连续滑移检测？
• RQ2 与单模态输入相比，视觉-触觉融合如何提升滑移检测的准确率？
• RQ3 所提出的模型是否能在不同类型的触觉传感器（如阵列式和光学传感器）之间实现泛化？
• RQ4 为何仅使用触觉传感在柔软、可变形物体上表现不佳，而融合方法如何缓解这一问题？
• RQ5 物体刚度对仅使用触觉传感与视觉-触觉融合模型性能的影响是什么？

主要发现

• 所提出的CNN-MSTCN模型在包含50种日常物体的自定义数据集上实现了96.96%的滑移检测准确率。
• 视觉-触觉融合显著优于仅使用视觉或仅使用触觉的模态，其中仅使用触觉的性能在柔软物体（如按摩球）上下降至50%。
• 该模型具备良好的泛化能力，在公开的GelSight数据集上也表现出色，证明了其跨传感器的鲁棒性。
• 仅使用触觉的预测在柔软物体上失败，原因是稳定状态与滑移状态的图像模式相似，而融合模型成功纠正了这一问题。
• MS-TCN架构在自定义数据集和公开数据集上均优于基于LSTM的基线模型，证实其在时间建模方面的优越性。
• 通过多模态融合，该模型有效缓解了在柔软、高度可变形物体中将稳定抓握误判为滑移的问题。