[论文解读] ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation

Chuang Gan, J. Schwartz+22 more|arXiv (Cornell University)|Jul 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 129

一句话总结

TDW 是一个通用虚拟世界平台，结合近真实渲染、多材料物理（包括刚性、软体、布料和流体）、音频合成，以及支持 VR 的人/智能体交互，创建用于 AI 研究的丰富多模态仿真。

ABSTRACT

We introduce ThreeDWorld (TDW), a platform for interactive multi-modal physical simulation. TDW enables simulation of high-fidelity sensory data and physical interactions between mobile agents and objects in rich 3D environments. Unique properties include: real-time near-photo-realistic image rendering; a library of objects and environments, and routines for their customization; generative procedures for efficiently building classes of new environments; high-fidelity audio rendering; realistic physical interactions for a variety of material types, including cloths, liquid, and deformable objects; customizable agents that embody AI agents; and support for human interactions with VR devices. TDW's API enables multiple agents to interact within a simulation and returns a range of sensor and physics data representing the state of the world. We present initial experiments enabled by TDW in emerging research directions in computer vision, machine learning, and cognitive science, including multi-modal physical scene understanding, physical dynamics predictions, multi-agent interactions, models that learn like a child, and attention studies in humans and neural networks.

研究动机与目标

• 在单一多模态仿真环境中，激励并支持 embodied AI 与认知科学模型的训练与基准测试。
• 提供高保真视觉与听觉渲染以及先进物理，支持多样化的交互场景。
• 提供灵活的 API 和资产库，创建多样、可控的感知、导航与操作任务环境。
• 通过跨领域的视觉、音频、物理预测、多智能体交互和人机协作等实验，展示 TDW 的效用。
• 通过可控物理参数生成合成数据来促进未来研究，这些参数在现实世界中不易标注。

提出的方法

• 将基于 Unity 的渲染与两个物理引擎整合（NVIDIA Flex 处理非刚性/材料交互，PhysX 处理刚体）。
• 提供两组件架构：Build（基于 Unity 的渲染/音频/物理）和 Controller（Python API，用于任务规范；支持超过 200 条命令与单步时间步打包）。
• 使用带有 PBR 材料的程序生成的 3D 资产与环境，及一个 2,500 相对象库，以实现可扩展的场景创建。
• 引入 PyImpact 实时、物理驱动的冲击声音合成，并使用 Resonance Audio 进行 3D 空间音效。
• 支持三种交互范式：对象的直接 API 控制、具身 AI 代理（包括类似机器人 Magnebot 的代理和 URDF 导入的机器人）、以及 VR-human 交互。
• 呈现多模态实验，包括视觉特征转移、基于音频的材料分类，以及多模态场景理解。

实验结果

研究问题

• RQ1 TDW 生成的数据能否训练出有效转移到现实世界视觉和音频任务的表征？
• RQ2 物理信息驱动的多模态仿真在从视听线索学习材料属性与质量方面有多大帮助？
• RQ3 是否可以使用 TDW 生成的数据和层次关系网络（HRN）等架构，学习端到端可微分的物理预测？
• RQ4 TDW 在研究多智能体交互与 VR 中的注意力方面有何用处，人类代理与神经代理有何差异？
• RQ5 TDW 如何实现跨感知、动力学和社会互动域的可扩展、可控的实验？

主要发现

• TDW 生成的视觉表征可转移到细粒度分类任务，在若干类别上接近 ImageNet 预训练模型的表现。
• 基于 TDW 合成声音的材料分类显著优于 Sound-20K 基线，表明更丰富的合成音频多样性提升了泛化。
• 多模态（视觉+音频）输入在材料与质量分类上的准确率高于任一模态单独使用，强调现实多模态渲染的价值。
• 在 TDW 数据上训练的可学习物理预测器（DRHRN）在提升 lift、slide、collide、stack、cloth 等场景的动力学预测方面优于基线，显示出更好的泛化和形状保持。
• 该平台支持先进的物理场景理解基准（如对象存在性、披覆、浸没）并支持基于学习的动力学模型。