[论文解读] VisualEchoes: Spatial Image Representation Learning through Echolocation

Ruohan Gao, Changan Chen+3 more|arXiv (Cornell University)|May 4, 2020

Advanced Vision and Imaging参考文献 91被引用 10

一句话总结

本文提出 VisualEchoes，一种新颖的基于交互的表征学习框架，利用从3D扫描的室内环境生成的合成回声响应，学习具有空间感知能力的视觉特征。通过训练模型从RGB图像和对应的回声波形中预测正确的相机视角，该方法学习到鲁棒的3D空间表征，在单目深度估计、表面法线估计和视觉导航任务中表现优于监督预训练方法。

ABSTRACT

Several animal species (e.g., bats, dolphins, and whales) and even visually impaired humans have the remarkable ability to perform echolocation: a biological sonar used to perceive spatial layout and locate objects in the world. We explore the spatial cues contained in echoes and how they can benefit vision tasks that require spatial reasoning. First we capture echo responses in photo-realistic 3D indoor scene environments. Then we propose a novel interaction-based representation learning framework that learns useful visual features via echolocation. We show that the learned image features are useful for multiple downstream vision tasks requiring spatial reasoning---monocular depth estimation, surface normal estimation, and visual navigation---with results comparable or even better than heavily supervised pre-training. Our work opens a new path for representation learning for embodied agents, where supervision comes from interacting with the physical world.

研究动机与目标

• 探究模拟3D环境中生成的回声响应是否包含对视觉表征学习有用的时空线索。
• 开发一种新的自监督学习框架，通过回声定位实现音视频对齐，用于视觉特征学习。
• 评估通过回声实现的基于交互的学习是否能泛化到需要空间推理能力的真实世界视觉任务。
• 证明基于回声的预训练可超越或匹配在下游3D几何与导航任务中采用大量监督预训练的方法。

提出的方法

• 使用 Replica 数据集捕获逼真的3D室内场景，并在不同视角下模拟啁啾样声波发射产生的回声响应。
• 训练视觉模型，根据输入的RGB图像及其对应的回声波形，预测正确的相机朝向（视角），形成对比学习目标。
• 采用孪生网络架构，将输入图像的视觉特征与正样本（正确）回声-视角对的特征以及负样本（错误）对的特征进行比较。
• 学习能够编码表面与回声反射之间空间关系的视觉表征，即使在推理阶段不使用音频。
• 使用模拟回声和真实RGB图像，在 VisualEchoes 对比目标上预训练一个 ResNet-50 编码器。
• 在下游任务（如单目深度估计、表面法线估计和视觉导航）上微调预训练编码器。

实验结果

研究问题

• RQ1 3D环境中回声响应在多大程度上携带关于场景深度和空间布局的预测信息？
• RQ2 通过模拟回声定位与环境交互，是否能产生比标准自监督方法更有效的视觉表征？
• RQ3 从回声中学习是否能提升需要空间推理能力的视觉任务（如深度估计和视觉导航）的性能？
• RQ4 通过模拟音频学习到的特征是否能泛化到真实世界、仅依赖视觉的测试数据，且在推理阶段无需音频？

主要发现

• VisualEchoes 预训练在 NYU-V2 数据集上的单目深度估计任务中达到最先进性能，优于从零开始训练的模型，并与使用 ImageNet 监督预训练的模型相当或更优。
• 在表面法线估计任务中，VisualEchoes 特征显著优于随机初始化和 ImageNet 监督预训练，表明几何理解能力得到提升。
• 在视觉导航任务中，经 VisualEchoes 预训练的智能体收敛更快，且更接近目标位置，表明空间感知能力更强。
• 该方法在 NYU-V2 和 DIODE 的真实世界图像上泛化良好，表明模拟回声可生成真实且可迁移的空间特征。
• 通过回声定位学习到的特征在空间任务上比专为分类优化的特征更有效，如 MIT Indoor Scenes 预训练模型在导航任务中表现较差。
• 定性结果表明，VisualEchoes 能够实现更准确的深度和法线预测，使智能体更高效地感知房间几何结构。