[论文解读] Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors

Yazhan Zhang, Weihao Yuan+2 more|arXiv (Cornell University)|Oct 9, 2019

EEG and Brain-Computer Interfaces被引用 20

一句话总结

本文提出一种深度学习框架 PixelMotionNet，用于利用基于视觉的触觉传感器检测和预测触觉接触事件。通过收集6,650个标注的触觉序列，并将该模型集成到机器人抓取系统中，该方法在物体抓举任务中实现了98%的成功率，且具备接触检测功能——相比开环抓取提高了52%，显著提升了系统对外部干扰的鲁棒性与抓取可靠性。

ABSTRACT

In essence, successful grasp boils down to correct responses to multiple contact events between fingertips and objects. In most scenarios, tactile sensing is adequate to distinguish contact events. Due to the nature of high dimensionality of tactile information, classifying spatiotemporal tactile signals using conventional model-based methods is difficult. In this work, we propose to predict and classify tactile signal using deep learning methods, seeking to enhance the adaptability of the robotic grasp system to external event changes that may lead to grasping failure. We develop a deep learning framework and collect 6650 tactile image sequences with a vision-based tactile sensor, and the neural network is integrated into a contact-event-based robotic grasping system. In grasping experiments, we achieved 52% increase in terms of object lifting success rate with contact detection, significantly higher robustness under unexpected loads with slip prediction compared with open-loop grasps, demonstrating that integration of the proposed framework into robotic grasping system substantially improves picking success rate and capability to withstand external disturbances.

研究动机与目标

• 为解决机器人抓取中高维时空触觉信号的解释挑战。
• 开发一种数据驱动方法，实现实时检测和预测接触事件，如接触形成、接触分离和滑移。
• 克服基于模型的方法在泛化能力和适应多种接触特性及外部干扰方面的局限性。
• 构建一个大规模、人工标注的触觉序列数据集，用于训练和评估接触事件感知模型。
• 将所提出的框架集成到机器人抓取系统中，以提升在意外负载下的鲁棒性和成功率。

提出的方法

• 设计了一种深度学习框架 PixelMotionNet，包含两个子网络：一个用于接触事件分类，另一个用于时空触觉序列预测。
• 该模型处理来自 FingerVision 传感器的原始触觉图像和位移矢量场，利用 HSV 颜色空间编码形变的方向、大小和强度。
• 由人类专家基于人类触觉中神经放电模式的观察，将6,650个触觉图像序列手动标注为七种类别的明确接触事件。
• 该框架采用联合训练与评估方案，分别对分类和视频预测任务训练独立的子网络。
• 将模型集成到安装在 UR10 机械臂上的 Robotiq 双指夹爪中，用于实时抓取实验。
• 仅在确认接触后才触发夹爪调整，从而实现闭环抓取。

实验结果

研究问题

• RQ1 深度学习模型能否有效从高维触觉序列中检测和预测多种类型的接触事件？
• RQ2 在噪声或不确定条件下，引入接触事件预测在多大程度上提升了机器人抓取的成功率？
• RQ3 所提出的框架在多大程度上增强了对意外负载等外部干扰的鲁棒性？
• RQ4 数据驱动方法在分类复杂触觉交互方面是否能超越传统基于模型的方法？
• RQ5 在缺乏视觉和本体感觉模态的情况下，该模型在检测接触形成和滑移事件方面的有效性如何？

主要发现

• 接触检测组件使10种不同物体的抓举成功率从开环的46%提升至98%，实现了52%的提升。
• 在滑移预测的辅助下，抓取系统在7个加载重量下仍能保持稳定抓握，而开环系统仅在3个重量后因滑移失败。
• PixelMotionNet 框架在接触事件分类和时空序列预测任务中均表现出色，在所收集数据集上优于基线模型。
• 人工标注的6,650个触觉序列数据集为未来触觉感知与机器人抓取研究提供了宝贵的基准。
• 该模型在不同形状、尺寸和材质的物体上表现出强大的泛化能力，表明其对现实世界变化的适应性。
• 该框架通过实时检测接触事件和预测滑移，实现了反应式抓取，显著增强了系统鲁棒性。