[论文解读] Unity Perception: Generate Synthetic Data for Computer Vision

Steve Borkman, Adam Crespi+13 more|arXiv (Cornell University)|Jul 9, 2021

Advanced Neural Network Applications参考文献 35被引用 71

一句话总结

本文介绍 Unity Perception，一個开源包，用于生成完美注释的合成数据集，用于计算机视觉任务，具备随机化框架和伴随数据集工具，展示合成数据在与真实数据结合时可提升模型性能。

ABSTRACT

We introduce the Unity Perception package which aims to simplify and accelerate the process of generating synthetic datasets for computer vision tasks by offering an easy-to-use and highly customizable toolset. This open-source package extends the Unity Editor and engine components to generate perfectly annotated examples for several common computer vision tasks. Additionally, it offers an extensible Randomization framework that lets the user quickly construct and configure randomized simulation parameters in order to introduce variation into the generated datasets. We provide an overview of the provided tools and how they work, and demonstrate the value of the generated synthetic datasets by training a 2D object detection model. The model trained with mostly synthetic data outperforms the model trained using only real data.

研究动机与目标

• 推动在计算机视觉中使用合成数据以解决标注成本、隐私和数据多样性等挑战。
• 提供一个可配置的工具链，在 Unity 内生成带标签的合成数据，覆盖常见的 CV 任务。
• 通过一个案例研究（SynthDet）展示合成数据对真实模型性能的影响。
• 提供编辑器内工具以及一个用于使用和分析合成数据集的 Python 组件。

提出的方法

• 扩展 Unity 编辑器/引擎，以生成用于 2D/3D 目标检测、语义/实例分割和关键点的带标签的合成数据。
• 引入一个可扩展的随机化框架（Scenario、Iterations、Randomizers、Samplers），以确定性地改变场景。
• 使用从 3D 场景状态派生注释的真实标签器（ground-truth Labelers），以及从语义标签到规范ID的映射。
• 提供基于 JSON 的数据集架构，将传感器输出与 Labeler 输出绑定，便于解析。
• 提供一个 Python 包（DatasetInsights）用于解析、可视化统计数据，并支持使用合成数据进行模型训练。

实验结果

研究问题

• RQ1 在 Unity Perception 生成的合成数据能否达到或超过与真实数据相比的 CV 模型性能？
• RQ2 在不同数据划分下，合成数据与真实数据的组合如何影响目标检测指标，如 mAP 和 mAR？
• RQ3 领域随机化在提升模型对真实世界测试集的泛化能力中的作用是什么？

主要发现

• 以合成数据为主训练的模型可能优于仅用真实数据训练的模型。
• 在 SynthDet 案例中，400k 张合成图像配合 760 张真实图像在所测试的策略中取得了最佳准确率（mAP 0.684，mAPIoU50 0.854，mAR100 0.757）。
• 当真实数据有限时，合成数据能显著提升性能（例如 76 张真实图像配合合成数据显示出显著增益）。
• 将 400k 的合成数据与真实数据结合，在多个评估指标上持续优于仅使用真实数据的情况。
• 该研究证明了合成数据在加速 CV 研究和数据集生成工作流方面的可行性。