[论文解读] MVTrans: Multi-View Perception of Transparent Objects

Yi Ru Wang, Yuchi Zhao+5 more|arXiv (Cornell University)|Feb 22, 2023

Advanced Vision and Imaging被引用 6

一句话总结

MVTrans 提出了一种端到端的多视角深度学习框架，用于透明物体感知，结合 RGB、立体视觉和多视角输入，联合预测深度、分割、姿态和 3D 边界框。该方法在真实和合成数据集上均优于最先进的 RGB-D 和立体视觉方法，通过一种新颖的逼真合成数据集 Syn-TODD 实现了在复杂场景和多样化透明物体上的鲁棒训练与泛化能力。

ABSTRACT

Transparent object perception is a crucial skill for applications such as robot manipulation in household and laboratory settings. Existing methods utilize RGB-D or stereo inputs to handle a subset of perception tasks including depth and pose estimation. However, transparent object perception remains to be an open problem. In this paper, we forgo the unreliable depth map from RGB-D sensors and extend the stereo based method. Our proposed method, MVTrans, is an end-to-end multi-view architecture with multiple perception capabilities, including depth estimation, segmentation, and pose estimation. Additionally, we establish a novel procedural photo-realistic dataset generation pipeline and create a large-scale transparent object detection dataset, Syn-TODD, which is suitable for training networks with all three modalities, RGB-D, stereo and multi-view RGB. Project Site: https://ac-rad.github.io/MVTrans/

研究动机与目标

• 为解决机器人和自动化领域中透明物体感知的长期挑战，因为标准 RGB-D 传感器受非朗伯表面和透明表面特性的影响而失效。
• 通过开发一种端到端的多视角架构，克服现有 RGB-D 和基于立体视觉方法的局限性，统一实现深度估计、分割和 3D 场景理解。
• 创建一个大规模、逼真且多样化的合成数据集（Syn-TODD），涵盖 RGB、RGB-D、立体视觉和多视角模态的丰富标注，以支持鲁棒的训练与评估。
• 证明多视角感知在复杂、遮挡和杂乱场景中显著优于立体视觉或单视角方法，尤其在存在多个透明物体时。

提出的方法

• MVTrans 采用多任务、端到端的深度神经网络，以多张 RGB 图像作为输入，联合预测透明和不透明物体的分割掩码、深度图、3D 边界框和物体姿态。
• 该模型利用多视角几何和跨视角特征融合，增强 3D 感知能力，减少对商品化 RGB-D 传感器生成的不可靠深度图的依赖。
• 提出一种新颖的程序化逼真数据集生成流水线，支持领域随机化，并可程序化生成具有真实材质属性和场景变化的透明物体。
• 创建了一个大规模数据集 Syn-TODD，包含 1,996 个逼真的桌面场景，每个场景有 57 个完全标注的视角，用于支持多模态的训练与评估。
• 该架构采用共享主干网络，配合针对分割、深度和 3D 检测/姿态的任务特定头，实现感知任务间的联合优化。
• 在数据集构建过程中使用领域随机化和程序化场景生成，以提升模型的泛化能力与仿真到现实的迁移性能。

实验结果

研究问题

• RQ1 多视角学习框架是否能在透明物体感知任务（如深度估计、分割和 3D 姿态预测）中优于基于立体视觉和 RGB-D 的方法？
• RQ2 在包含多个透明物体的复杂、遮挡和杂乱场景中，增加输入视角数量如何影响性能？
• RQ3 大规模、逼真的合成数据集（Syn-TODD）在多视角透明物体感知模型的泛化能力和鲁棒性方面能提升到何种程度？
• RQ4 端到端的多任务学习方法是否在透明物体感知中优于顺序或分阶段的流水线？

主要发现

• MVTrans 在真实世界（KeyPose）和合成数据集（Syn-TODD）上，均在所有感知任务（包括深度估计、分割和 3D 姿态预测）中优于最先进的 RGB-D 和基于立体视觉的模型。
• 五视角版本的 MVTrans 达到最高性能，显著优于双视角和立体视觉基线模型，尤其在存在多个透明物体的复杂场景中。
• 在 Syn-TODD 数据集上，MVTrans 实现了 58.7% 的 3D 边界框平均精度（AP）和 62.1% 的姿态估计平均精度（AP），展现出在复杂、多样且具有挑战性的场景中的强大性能。
• 消融实验表明，增加视角数量可提升性能，尤其在 3D 任务（如 3D 边界框估计）中表现显著，而 2D 分割任务因固有的二维特性仅获得微小增益。
• 在 Syn-TODD 上训练的 MVTrans 能够良好泛化到真实世界数据，优于在真实数据集（如 KeyPose）上训练的模型，表明合成数据流水线的有效性。
• 所提出的 Syn-TODD 数据集在场景复杂度、物体多样性及标注丰富度方面均优于现有数据集，支持更鲁棒的模型训练与评估。