[论文解读] UnrealCV: Connecting Computer Vision to Unreal Engine

Weichao Qiu, Alan Yuille|arXiv (Cornell University)|Sep 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 20被引用 14

一句话总结

UnrealCV 是 Unreal Engine 4 的一个开源插件，使计算机视觉研究人员能够访问和修改内部游戏数据结构，从而实现对相机的程序化控制、提取详细的地面真实数据（例如深度图、实例掩码），并集成到 AI 框架中。它支持在高度逼真的虚拟环境中生成合成数据集并评估深度神经网络，展示了 Faster R-CNN 目标检测在不同视角下的显著性能差异。

ABSTRACT

Computer graphics can not only generate synthetic images and ground truth but it also offers the possibility of constructing virtual worlds in which: (i) an agent can perceive, navigate, and take actions guided by AI algorithms, (ii) properties of the worlds can be modified (e.g., material and reflectance), (iii) physical simulations can be performed, and (iv) algorithms can be learnt and evaluated. But creating realistic virtual worlds is not easy. The game industry, however, has spent a lot of effort creating 3D worlds, which a player can interact with. So researchers can build on these resources to create virtual worlds, provided we can access and modify the internal data structures of the games. To enable this we created an open-source plugin UnrealCV (http://unrealcv.github.io) for a popular game engine Unreal Engine 4 (UE4). We show two applications: (i) a proof of concept image dataset, and (ii) linking Caffe with the virtual world to test deep network algorithms.

研究动机与目标

• 弥合计算机视觉研究与 Unreal Engine 4 游戏引擎丰富的 3D 资产和渲染能力之间的鸿沟。
• 通过利用现有的游戏和 VR 内容，克服手动构建合成虚拟世界的局限性。
• 为 AI 训练和评估提供对内部数据结构（如相机状态、物体位置和场景几何）的程序化访问。
• 支持与 Caffe 等深度学习框架的集成，实现在虚拟环境中的端到端算法测试。
• 支持创建大规模、多样化的合成数据集，包含丰富的标注信息，如深度图、法向量和实例分割掩码。

提出的方法

• 开发一个开源的 Unreal Engine 4 插件 UnrealCV，通过标准化 API 暴露内部游戏引擎数据。
• 使用 UnrealCV 的命令行接口（例如 vset、vget）控制相机位置、方向，并检索图像和地面真实数据。
• 将虚拟世界与外部 AI 系统（如 Caffe）集成，以实现实时推理和训练。
• 通过使用随机化的相机位置、光照和物体配置，基于脚本自动化生成图像和标注。
• 利用 UnrealCV 的相机和状态控制功能，实现可编程导航和感知的虚拟智能体。
• 将来自 Unreal Engine Marketplace 和开源项目的现实世界数据集和 3D 资产适配为可测试的虚拟环境。

实验结果

研究问题

• RQ1 游戏引擎能否被扩展以支持对内部场景数据的程序化访问，以满足计算机视觉研究的需求？
• RQ2 在 Unreal Engine 4 中使用 UnrealCV 生成的合成数据集，在多样性与真实感方面在多大程度上能满足视觉算法训练与测试的需求？
• RQ3 当在受控的、照片级真实的虚拟环境中测试时，深度学习模型（如 Faster R-CNN）对视角变化的敏感性如何？
• RQ4 UnrealCV 是否能够实现 AI 框架与虚拟世界之间的无缝集成，以支持端到端的算法评估？
• RQ5 当前合成数据生成流程在 3D 内容多样性与物理真实感方面存在哪些局限性？

主要发现

• UnrealCV 实现了对 Unreal Engine 4 中相机状态、物体位置和场景几何的完整程序化访问，使虚拟世界感知的精确控制成为可能。
• 该系统成功生成了一个合成图像数据集，包含同步的 RGB 图像、深度图、表面法向量和实例掩码，使用了随机化的相机位置和场景参数。
• Faster R-CNN 对沙发检测的平均精度（AP）根据相机视角的不同，从 0.1 到 1.0 不等，表明其对视角具有强烈敏感性。
• 当沙发从某些方位/仰角无法被观测时，AP 降至 0.0，证实可见性和遮挡显著影响检测性能。
• 该虚拟世界通过改变光照、材质属性和相机配置，实现了对算法鲁棒性的系统性评估。
• 将 Caffe 与 UnrealCV 集成，使得在照片级真实的仿真环境中实现实时推理和深度网络测试成为可能。