[论文解读] Scenic: Language-Based Scene Generation.

Daniel J. Fremont, Xiangyu Yue+4 more|arXiv (Cornell University)|Sep 25, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用 22

一句话总结

本文提出 Scenic，一种用于通过编码物体之间的物理和空间关系来生成合成场景的领域特定概率编程语言。通过将场景建模为具有硬约束和软约束的分布，Scenic 实现了场景即兴创作，从而生成逼真且多样的训练数据，显著提升了卷积神经网络在各种场景下的车辆检测性能。

ABSTRACT

Synthetic data has proved increasingly useful in both training and testing machine learning models such as neural networks. The major problem in synthetic data generation is producing meaningful data that is not simply random but reflects properties of real-world data or covers particular cases of interest. In this paper, we show how a probabilistic programming language can be used to guide data synthesis by encoding domain knowledge about what data is useful. Specifically, we focus on data sets arising from configurations of physical objects; for example, images of cars on a road. We design a domain-specific language, Scenic, for describing scenarios that are distributions over scenes. The syntax of Scenic makes it easy to specify complex relationships between the positions and orientations of objects. As a probabilistic programming language, Scenic allows assigning distributions to features of the scene, as well as declaratively imposing hard and soft constraints over the scene. A Scenic scenario thereby implicitly defines a distribution over scenes, and we formulate the problem of sampling from this distribution as scene improvisation. We implement an improviser for Scenic scenarios and apply it in a case study generating synthetic data sets for a convolutional neural network designed to detect cars in road images. Our experiments demonstrate the usefulness of our approach by using Scenic to analyze and improve the performance of the network in various scenarios.

研究动机与目标

• 解决生成反映真实世界物理配置的有意义且非随机的合成数据的挑战。
• 实现对场景中物体之间复杂空间与关系约束的精确指定。
• 开发一种系统，可自动从场景分布中采样，生成多样且逼真的训练数据。
• 通过使用 Scenic 生成的场景进行数据增强，提升深度学习模型的鲁棒性与泛化能力。
• 展示 Scenic 在提升卷积神经网络在复杂道路环境中进行车辆检测性能方面的实用性。

提出的方法

• 设计 Scenic 作为一种面向场景生成、具备空间与物理约束的领域特定概率编程语言。
• 定义一种语法，允许使用概率分布以声明式方式指定物体的位置、方向及相互关系。
• 支持硬约束（例如，物体 X 必须位于物体 Y 前方）和软约束（例如，物体之间应保持合理间距）。
• 将场景采样形式化为“场景即兴创作”——一种根据定义的概率与基于约束的模型生成有效场景的过程。
• 实现一个即兴创作引擎，高效地从场景配置的联合分布中采样。
• 将生成的合成数据用于训练和评估用于道路场景中车辆检测的卷积神经网络。

实验结果

研究问题

• RQ1 概率编程语言能否有效编码关于物理场景的领域知识，以指导合成数据的生成？
• RQ2 Scenic 在多大程度上能够生成反映物体之间复杂空间关系的多样化、逼真场景？
• RQ3 Scenic 生成的合成数据在多大程度上提升了用于目标检测的深度学习模型的性能与鲁棒性？
• RQ4 Scenic 中的硬约束与软约束在多大程度上影响了采样场景的多样性与真实性？
• RQ5 通过 Scenic 进行的场景即兴创作能否生成在具有挑战性的现实场景中泛化能力更强的训练数据？

主要发现

• Scenic 成功地使用声明式、高层级的语法对物体之间的复杂空间关系进行建模，该语法集成了概率与约束机制。
• 场景即兴创作过程能够生成多样化且有效的场景，准确反映场景中指定的分布与约束条件。
• 由 Scenic 生成的合成数据集提升了卷积神经网络在车辆检测任务中的泛化能力，尤其在罕见或复杂配置下表现更优。
• 引入软约束后，生成的场景样本在真实感与多样性方面均优于完全随机或严格约束的生成方式。
• 该方法使研究人员能够系统分析模型在不同场景配置下的表现，揭示了在真实世界数据中不易察觉的失败模式。
• 案例研究表明，Scenic 生成的数据显著提升了模型在遮挡或车辆紧密排列等边缘情况下的鲁棒性。