[论文解读] ViTac: Feature Sharing between Vision and Tactile Sensing for Cloth Texture Recognition

Shan Luo, Wenzhen Yuan+3 more|arXiv (Cornell University)|Feb 21, 2018

Tactile and Sensory Interactions参考文献 19被引用 15

一句话总结

本文提出ViTac，一种基于深度最大协方差分析（DMCA）的深度融合框架，用于在视觉与触觉传感之间学习共享潜在空间，以实现布料纹理识别。通过使用DMCA融合来自相机图像和GelSight触觉数据的特征，该方法实现了超过90%的识别准确率，并通过利用两种模态的互补信息，提升了单模态性能。

ABSTRACT

Vision and touch are two of the important sensing modalities for humans and they offer complementary information for sensing the environment. Robots could also benefit from such multi-modal sensing ability. In this paper, addressing for the first time (to the best of our knowledge) texture recognition from tactile images and vision, we propose a new fusion method named Deep Maximum Covariance Analysis (DMCA) to learn a joint latent space for sharing features through vision and tactile sensing. The features of camera images and tactile data acquired from a GelSight sensor are learned by deep neural networks. But the learned features are of a high dimensionality and are redundant due to the differences between the two sensing modalities, which deteriorates the perception performance. To address this, the learned features are paired using maximum covariance analysis. Results of the algorithm on a newly collected dataset of paired visual and tactile data relating to cloth textures show that a good recognition performance of greater than 90\% can be achieved by using the proposed DMCA framework. In addition, we find that the perception performance of either vision or tactile sensing can be improved by employing the shared representation space, compared to learning from unimodal data.

研究动机与目标

• 为解决视觉与触觉传感融合以提升布料纹理识别的挑战，利用两种模态的互补信息。
• 学习一个联合潜在空间，以缓解光照、颜色差异以及由力引起的形变等模态特异性变化。
• 证明在单独测试时，共享表征可提升任一模态的识别性能。
• 引入一个新的配对视觉-触觉数据集（ViTac），用于布料纹理识别。
• 验证视觉与触觉传感的深度特征可通过最大协方差分析实现有效对齐。

提出的方法

• 使用深度神经网络从相机图像和GelSight触觉传感器数据中提取高维特征。
• 应用深度最大协方差分析（DMCA）以学习一个低维共享潜在空间，使视觉与触觉特征之间的相关性最大化。
• DMCA框架通过最大化两种模态之间的协方差，同时减少模态特异性噪声与方差，实现特征对齐。
• 该方法在配对的视觉与触觉数据上进行训练，支持在推理阶段无需配对数据的联合表征学习。
• 共享表征用于在测试时仅使用单一模态（视觉或触觉）时提升分类性能。
• 通过在双模态数据上训练并在单模态数据上测试，评估框架的泛化能力与性能增益。

实验结果

研究问题

• RQ1 是否能够学习到视觉与触觉传感之间的共享潜在空间，使布料纹理识别性能超越单模态表现？
• RQ2 在训练过程中包含某一模态，对另一模态在推理阶段的识别准确率有何影响？
• RQ3 DMCA在多大程度上能减少模态特异性变化（如光照、力、颜色）的影响，同时保留共享的纹理信息？
• RQ4 当仅在视觉或触觉数据上单独测试时，所提出的DMCA框架是否优于单模态基线？
• RQ5 从双模态数据中学到的共享表征是否能有效泛化到新的、未见过的布料纹理上？

主要发现

• 当仅使用从双模态数据中学习到的共享表征在相机图像上测试时，所提出的DMCA框架实现了92.6%的布料纹理识别准确率。
• 当仅在GelSight触觉数据上测试时，该框架实现了90%的准确率，显著优于单模态基线。
• 当仅使用单模态数据训练时，视觉模型在GelSight测试数据上的准确率仅为16.7%，而触觉模型在相机数据上的准确率仅为14.8%，凸显了共享表征的优势。
• 当使用共享表征时，两种模态的性能均得到提升，表明来自一模态的互补特征可增强另一模态的性能。
• 随着输出维度增加至20以上，DMCA在两种模态上的分类准确率均趋于稳定在约90%，表明已收敛至最优表征。
• 结果证实，MCA不仅适用于手工设计特征，也适用于多模态学习中深度神经网络学习的特征。