[论文解读] ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations

Ruohan Gao, Yen‐Yu Chang+3 more|arXiv (Cornell University)|Sep 16, 2021

Tactile and Sensory Interactions参考文献 51被引用 23

一句话总结

ObjectFolder 引入了一个新型数据集，包含 100 个通过隐式神经表示编码的 3D 物体，该表示联合建模视觉、听觉和触觉感官数据。通过支持高保真度、基于查询的多感官信号仿真，该数据集为实例识别、跨感官检索、3D 重建和机器人抓取任务提供了基准测试，结果显示结合视觉与音频可提升 3D 重建精度，而使用触觉数据则可实现更优的抓取预测性能。

ABSTRACT

Multisensory object-centric perception, reasoning, and interaction have been a key research topic in recent years. However, the progress in these directions is limited by the small set of objects available -- synthetic objects are not realistic enough and are mostly centered around geometry, while real object datasets such as YCB are often practically challenging and unstable to acquire due to international shipping, inventory, and financial cost. We present ObjectFolder, a dataset of 100 virtualized objects that addresses both challenges with two key innovations. First, ObjectFolder encodes the visual, auditory, and tactile sensory data for all objects, enabling a number of multisensory object recognition tasks, beyond existing datasets that focus purely on object geometry. Second, ObjectFolder employs a uniform, object-centric, and implicit representation for each object's visual textures, acoustic simulations, and tactile readings, making the dataset flexible to use and easy to share. We demonstrate the usefulness of our dataset as a testbed for multisensory perception and control by evaluating it on a variety of benchmark tasks, including instance recognition, cross-sensory retrieval, 3D reconstruction, and robotic grasping.

研究动机与目标

• 为解决机器人与人工智能研究中缺乏高质量、多感官 3D 物体数据集的问题，这些数据集需同时支持视觉、音频与触觉感知。
• 克服现有数据集的局限性，例如真实感较差的合成物体，或采集成本高、稳定性差的真实世界数据集。
• 开发一种统一的、以物体为中心的隐式表示框架，以实现多感官数据的灵活、可扩展且可共享的仿真。
• 创建一个公开可用的基准数据集，与机器人虚拟环境兼容，以加速多感官感知与控制领域的研究。
• 在多种任务中展示该数据集的实用性，包括 3D 重建、跨模态检索以及机器人抓取。

提出的方法

• 每个物体均通过一个深度神经网络表示为一个物体文件，该网络包含三个子网络：VisionNet 用于视觉外观建模，AudioNet 用于冲击声音仿真，TouchNet 用于触觉传感。
• 视觉数据通过在不同相机位姿、光照条件和物体旋转下查询隐式表示生成，以产生逼真的图像。
• 音频数据通过基于物体形状、尺寸和材质的模态分析合成，以计算振动模式并仿真冲击声音。
• 触觉数据通过 DIGIT — 一种基于视觉的触觉传感器 — 进行仿真，通过在接触位置查询表面点以生成 RGB 触觉图像。
• 隐式表示通过坐标条件特征图和条件批归一化进行训练，以预测占据概率和感官输出。
• 该框架通过为每个物体学习单一表示，支持端到端学习与推理，实现实时查询视觉、听觉和触觉信号。

实验结果

研究问题

• RQ1 隐式神经表示能否以统一、可扩展的格式有效编码并仿真 3D 物体的多感官数据（视觉、听觉、触觉）？
• RQ2 与单模态基线相比，结合视觉与音频信号在 3D 形状重建方面表现如何？
• RQ3 仅使用触觉数据在机器人操作任务中对抓取稳定性预测的提升程度如何，相较于仅使用视觉或结合多种模态的方法？
• RQ4 该数据集在真实世界图像和仿真机器人控制策略中的泛化能力如何？
• RQ5 隐式表示框架能否支持跨感官检索和 3D 重建等多样化基准任务，并保持高保真度？

主要发现

• 使用图像和音频输入的 3D 重建方法（Image+Audio2Mesh）达到 0.8906 的 IoU，优于单模态基线，证明了声学空间线索的价值。
• 在 ObjectFolder 上训练的 Image2Mesh 模型在真实世界图像上表现出合理泛化能力，基于触觉的机器人抓取任务成功率达到 75.5%，显著优于随机策略（53.0%）。
• 仅使用触觉数据进行抓取稳定性预测时，达到高精度所需的训练样本显著更少，表明触觉数据在学习方面具有更高的效率。
• 视觉与触觉信号的结合实现了最高的抓取预测准确率，凸显了这两种模态的互补性。
• 在 Meta-World 环境中，使用三个物体（水杯、碗、骰子）进行物体操作任务（如抓取）实现了 100% 的成功率，证明了该数据集在仿真中的实际应用价值。
• 隐式神经表示框架实现了对全部 100 个物体的高效、高保真多感官数据仿真，支持多样化下游任务并保持一致的性能表现。