[论文解读] Pose-Based Servo Control with Soft Tactile Sensing.

Nathan F. Lepora, John W. Lloyd|arXiv (Cornell University)|Dec 4, 2020

Tactile and Sensory Interactions被引用 5

一句话总结

本文提出了一种基于姿态的触觉伺服控制（PBTS）方法，这是一种新型的机器人控制方法，利用一种柔软曲面光学触觉传感器（BRL TacTip）和抗剪切力的卷积神经网络（CNN），实现实时传感器姿态估计。通过将该姿态估计集成到基于局部物体特征（如边缘和表面）的伺服控制回路中，PBTS能够在复杂三维物体上实现鲁棒、精确的运动控制，展示了类似人类的灵巧操作能力，尤其在基于柔软触觉的操控中表现突出。

ABSTRACT

This paper describes a new way of controlling robots using soft tactile sensors: pose-based tactile servo (PBTS) control. The basic idea is to embed a tactile perception model for estimating the sensor pose within a servo control loop that is applied to local object features such as edges and surfaces. PBTS control is implemented with a soft curved optical tactile sensor (the BRL TacTip) using a convolutional neural network trained to be insensitive to shear. In consequence, robust and accurate controlled motion over various complex 3D objects is attained. First, we review tactile servoing and its relation to visual servoing, before formalising PBTS control. Then, we assess PBTS over a range of regular and irregular objects. Finally, we reflect on the relation to visual servo control and discuss how controlled soft touch gives a route towards human-like dexterity in robots. A summary video is available here this https URL

研究动机与目标

• 开发一种触觉伺服控制框架，使机器人能够通过柔软触觉传感实现精确、自适应的操控。
• 解决在与复杂三维物体进行柔软触觉交互时，传统视觉伺服控制可能失效的挑战。
• 在伺服控制回路中集成一种对剪切力不敏感的姿态估计模型，以提升对局部几何特征的敏感性。
• 通过受控的柔软触觉实现类人灵巧操作的可行性，其原理受到视觉伺服控制的启发。

提出的方法

• PBTS框架将触觉感知模型嵌入伺服控制回路中，用于估计柔软触觉传感器相对于局部物体特征的姿态。
• 使用一种柔软曲面光学触觉传感器（BRL TacTip）采集三维物体表面和边缘的触觉数据。
• 训练卷积神经网络（CNN）从触觉图像中估计传感器姿态，同时对剪切力保持不敏感。
• 控制回路利用实时姿态估计结果调整机器人的运动，确保对局部特征的精确跟踪。
• 在一系列规则和不规则的三维物体上对系统进行验证，以评估其鲁棒性和准确性。
• 该方法在概念上与视觉伺服控制相似，但用触觉反馈替代视觉反馈，从而在低可见度或高复杂度场景中实现更优性能。

实验结果

研究问题

• RQ1 仅依靠柔软触觉反馈，触觉伺服控制系统是否能在复杂三维物体上实现稳定且精确的运动控制？
• RQ2 触觉感知模型中对剪切力的不敏感性如何影响操控过程中的控制性能与鲁棒性？
• RQ3 基于姿态的触觉伺服控制在多大程度上能够复现人类操控中观察到的灵巧性？
• RQ4 在具有纹理或遮挡的表面上，PBTS与视觉伺服控制在可靠性与适应性方面有何差异？
• RQ5 基于CNN的触觉感知模型是否能有效实现实时传感器姿态估计，以支持闭环控制？

主要发现

• PBTS控制在多种复杂三维物体上实现了鲁棒且精确的运动控制，包括不规则和有纹理的表面。
• 在触觉感知模型中采用的抗剪切力CNN显著提升了在不同接触条件下姿态估计的准确性。
• 系统能够实时跟踪局部特征（如边缘和表面），实现在无视觉输入条件下的精确操控。
• 将触觉反馈集成到伺服控制回路中，其性能在具有挑战性的环境中可与视觉伺服控制相媲美。
• 该方法在通过受控柔软触觉实现类人灵巧操控方面展现出巨大潜力。
• 一段展示PBTS性能的总结视频已公开发布，清晰展示了其在多样化测试物体上的有效性。