[论文解读] Touch100k: A Large-Scale Touch-Language-Vision Dataset for Touch-Centric Multimodal Representation

Ning Cheng, Changhao Guan+8 more|arXiv (Cornell University)|Jun 6, 2024

Social Robot Interaction and HRIPsychology被引用 3

一句话总结

本文提出了Touch100k，一个包含100,000个样本的触觉-语言-视觉数据集，具备多粒度触觉描述，并提出了TLV-Link，一种基于课程学习的预训练方法，用于对GelSight传感器的触觉、视觉和语言模态进行对齐。该方法在触觉表征学习方面达到了最先进性能，当移除课程学习时，零样本抓取任务的准确率下降了21.2%，证明了其在零样本触觉理解与材料属性识别方面的有效性。

ABSTRACT

Touch holds a pivotal position in enhancing the perceptual and interactive capabilities of both humans and robots. Despite its significance, current tactile research mainly focuses on visual and tactile modalities, overlooking the language domain. Inspired by this, we construct Touch100k, a paired touch-language-vision dataset at the scale of 100k, featuring tactile sensation descriptions in multiple granularities (i.e., sentence-level natural expressions with rich semantics, including contextual and dynamic relationships, and phrase-level descriptions capturing the key features of tactile sensations). Based on the dataset, we propose a pre-training method, Touch-Language-Vision Representation Learning through Curriculum Linking (TLV-Link, for short), inspired by the concept of curriculum learning. TLV-Link aims to learn a tactile representation for the GelSight sensor and capture the relationship between tactile, language, and visual modalities. We evaluate our representation's performance across two task categories (namely, material property identification and robot grasping prediction), focusing on tactile representation and zero-shot touch understanding. The experimental evaluation showcases the effectiveness of our representation. By enabling TLV-Link to achieve substantial improvements and establish a new state-of-the-art in touch-centric multimodal representation learning, Touch100k demonstrates its value as a valuable resource for research. Project page: https://cocacola-lab.github.io/Touch100k/.

研究动机与目标

• 为解决机器人领域中缺乏大规模、多粒度语言标注的触觉数据集，这些数据集整合了触觉、语言和视觉信息。
• 开发一种预训练方法，通过对齐触觉、语言和视觉模态来学习鲁棒的触觉表征。
• 实现在触觉理解任务（如材料属性识别和机器人抓取预测）中的零样本泛化能力。
• 评估数据集规模和课程学习对触觉表征性能的影响。

提出的方法

• 通过从公开数据集中收集101,982个视觉-触觉观测样本，并利用GPT-4V结合提示工程生成多粒度文本描述（句子级和短语级），构建了Touch100k。
• 实施了教师-学生课程学习框架，其中视觉编码器作为教师，通过结合视觉和触觉特征的加权课程表示，指导触觉编码器（学生）的学习。
• 随着学生模型能力的提升，逐步降低教师模型的影响，实现渐进式知识蒸馏。
• 使用文本编码器融合多粒度语言描述，并应用对比学习将课程表示与语言模态对齐。
• 在第一阶段通过联合学习在触觉和视觉上训练触觉编码器，第二阶段则使用冻结的OpenCLIP-large文本编码器进行对比对齐。
• 通过线性探测和零样本迁移在材料属性识别与机器人抓取预测任务上评估性能。

实验结果

研究问题

• RQ1 大规模、多粒度的触觉-语言-视觉数据集能否提升零样本触觉理解与表征学习性能？
• RQ2 课程学习在多模态预训练中如何提升触觉表征的泛化能力与性能？
• RQ3 数据集规模在多大程度上影响触觉表征学习的下游性能？
• RQ4 所提出的TLV-Link方法在捕捉触觉、语言与视觉之间跨模态关系方面的有效性如何？

主要发现

• TLV-Link在材料属性识别和机器人抓取预测任务的线性探测与零样本评估中均达到了最先进性能。
• 移除课程表示后，零样本抓取准确率下降21.2%（从65.4%降至44.2%），证实其在泛化中的关键作用。
• 将数据集规模减少至原始大小的25%（25,000个样本）对线性探测性能影响极小，表明其具有强大的数据效率。
• t-SNE可视化显示，TLV-Link能有效区分硬/软与粗糙/光滑的材料类别，但在多类别和高度多样化分布上表现吃力。
• 该方法优于现有基线模型，性能接近TAG数据集特征所设定的上限，验证了其有效性。
• 消融实验证实，课程表示显著提升了性能，尤其是在零样本设置下，凸显其在学习鲁棒触觉表征中的价值。