[论文解读] Spatio-temporal Attention Model for Tactile Texture Recognition

Guanqun Cao, Yi Zhou+2 more|arXiv (Cornell University)|Aug 10, 2020

Tactile and Sensory Interactions参考文献 33被引用 4

一句话总结

该论文提出了一种新颖的时空注意力模型（STAM），用于触觉纹理识别，能够动态聚焦于触觉序列中的显著空间区域和时序相关的接触事件。通过整合空间与时间注意力机制，STAM 相较于非注意力基线模型，识别准确率最高提升 18.8%，并在存在噪声的预接触数据条件下表现出强鲁棒性，当引入噪声时，相较于基于 CNN 的模型，平均准确率提升达 15.23%。

ABSTRACT

Recently, tactile sensing has attracted great interest in robotics, especially for facilitating exploration of unstructured environments and effective manipulation. A detailed understanding of the surface textures via tactile sensing is essential for many of these tasks. Previous works on texture recognition using camera based tactile sensors have been limited to treating all regions in one tactile image or all samples in one tactile sequence equally, which includes much irrelevant or redundant information. In this paper, we propose a novel Spatio-Temporal Attention Model (STAM) for tactile texture recognition, which is the very first of its kind to our best knowledge. The proposed STAM pays attention to both spatial focus of each single tactile texture and the temporal correlation of a tactile sequence. In the experiments to discriminate 100 different fabric textures, the spatially and temporally selective attention has resulted in a significant improvement of the recognition accuracy, by up to 18.8%, compared to the non-attention based models. Specifically, after introducing noisy data that is collected before the contact happens, our proposed STAM can learn the salient features efficiently and the accuracy can increase by 15.23% on average compared with the CNN based baseline approach. The improved tactile texture perception can be applied to facilitate robot tasks like grasping and manipulation.

研究动机与目标

• 为解决现有触觉纹理识别方法对所有空间区域和时间样本一视同仁所带来的效率低下与对噪声敏感的问题。
• 首次探索受人类触觉选择性注意启发的注意力机制在机器人触觉感知中的应用。
• 通过从触觉序列中学习空间与时间上具有选择性的特征，提升识别准确率与鲁棒性。
• 实现在有限或含噪声触觉数据下的更高效学习，尤其适用于真实世界中的机器人操作场景。

提出的方法

• STAM 模型采用双分支架构：空间注意力模块为每个触觉图像的不同区域分配可学习权重，以突出信息丰富的特征。
• 引入时间注意力模块，用于建模跨序列触觉样本的长程依赖关系，使网络能够随时间聚焦于最相关的接触事件。
• 在织物纹理数据集上进行端到端训练时，通过交叉熵损失函数联合优化空间与时间注意力模块。
• 使用 Grad-CAM 可视化技术解释并验证空间注意力机制突出触觉图像中显著区域的能力。
• 可视化时间注意力图，分析过去接触事件如何影响当前触觉状态的表征，特别强调近期输入的影响。
• 在包含 100 个类别的织物纹理数据集上评估模型，并通过在含噪声数据上的消融实验评估其鲁棒性。

实验结果

研究问题

• RQ1 时空注意力机制是否能通过选择性聚焦于信息丰富的空间与时间特征，提升触觉纹理识别的准确率？
• RQ2 在引入预接触数据噪声的情况下，所提出的 STAM 模型性能表现如何，尤其在噪声条件下的表现？
• RQ3 注意力机制在输入序列有限的情况下，能在多大程度上提升特征学习效率？
• RQ4 该模型的注意力分布是否与人类触觉选择性注意一致，倾向于关注显著特征与近期接触事件？

主要发现

• 在识别 100 种织物纹理时，STAM 模型相较于非注意力基线模型，最大准确率提升达 18.8%，证明了时空注意力机制的有效性。
• 当引入含噪声的预接触数据时，STAM 模型保持高性能，准确率仅下降 0.92%（而基线模型下降 14.96%），展现出强大的鲁棒性。
• 在噪声数据上训练时，STAM 模型相较基于 CNN 的基线模型，平均准确率提升 15.23%，凸显其在过滤无关信息方面的高效性。
• 通过 Grad-CAM 进行的空间注意力可视化表明，与非注意力基线相比，该模型更倾向于激活更具信息量的触觉区域，表明其具备更优的特征选择能力。
• 时间注意力分析显示，模型始终聚焦于最近的接触区域，从而有效建模长程时间依赖关系。
• 尽管参数量比基线模型多 1140 万个（6880 万 vs. 5740 万个），STAM 仍保持紧凑且高效，表明注意力机制在不引入过度复杂性的情况下显著提升了模型价值。