[论文解读] Simulating Content Consistent Vehicle Datasets with Attribute Descent

Yue Yao, Liang Zheng+3 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Neural Network Applications参考文献 43被引用 32

一句话总结

本论文引入 VehicleX，这是在 Unity 中生成的大规模合成车辆数据集，以及一种属性下降方法，用于优化可控内容属性，使合成数据更好地匹配真实数据以进行车辆重识别。该方法在只使用学习的合成数据或与真实数据结合使用时提升了重识别性能。

ABSTRACT

This paper uses a graphic engine to simulate a large amount of training data with free annotations. Between synthetic and real data, there is a two-level domain gap, i.e., content level and appearance level. While the latter has been widely studied, we focus on reducing the content gap in attributes like illumination and viewpoint. To reduce the problem complexity, we choose a smaller and more controllable application, vehicle re-identification (re-ID). We introduce a large-scale synthetic dataset VehicleX. Created in Unity, it contains 1,362 vehicles of various 3D models with fully editable attributes. We propose an attribute descent approach to let VehicleX approximate the attributes in real-world datasets. Specifically, we manipulate each attribute in VehicleX, aiming to minimize the discrepancy between VehicleX and real data in terms of the Fréchet Inception Distance (FID). This attribute descent algorithm allows content domain adaptation (DA) orthogonal to existing appearance DA methods. We mix the optimized VehicleX data with real-world vehicle re-ID datasets, and observe consistent improvement. With the augmented datasets, we report competitive accuracy. We make the dataset, engine and our codes available at https://github.com/yorkeyao/VehicleX.

研究动机与目标

• 推动减少用于重识别任务的合成车辆图像与真实车辆图像在内容层面的领域差距。
• 创建一个大型、可编辑的合成车辆数据集（VehicleX），具备可控属性。
• 开发一套属性下降算法，以最小化合成数据与真实数据之间的分布距离（FID）。
• 证明符合内容的合成数据能够独立或与真实数据结合时提升重识别准确性。
• 提供开源工具（数据集、引擎、代码）以便复现和扩展该方法。

提出的方法

• 使用高斯分布或高斯混合模型对车辆属性（朝向、光照方向、光照强度、相机高度、相机距离）进行建模，以表示内容分布。
• 通过基于 Unity 的引擎并以 Python 控制来渲染合成图像，生成用于 re-ID 的带标签数据。
• 使用 Fréchet Inception Distance (FID) 测量合成数据与真实数据之间的分布差异。
• 通过属性下降（类似坐标下降）算法优化属性均值，迭代各属性以最小化 FID。
• 进行两种训练模式：仅使用合成数据和与真实数据的联合训练，包括两阶段训练协议。
• 在 VehicleID、VeRi-776 和 CityFlow 数据集上，使用标准的重识别指标（mAP、Rank-1）进行评估。

实验结果

研究问题

• RQ1 通过非微分渲染器进行的内容层面属性优化是否能够缩小合成车辆图像与真实车辆图像之间的内容差距？
• RQ2 通过属性下降学习得到的合成数据在单独使用或与真实数据结合时，是否能提升车辆重识别性能？
• RQ3 各个独立的内容属性如何在不同数据集上促成分布对齐与重识别准确性的提升？
• RQ4 两阶段训练协议（合成+真实预训练，然后真实数据微调）对于联合训练有益吗？
• RQ5 在对 FID 与重识别性能的影响方面，内容属性之间的依赖结构是怎样的？

主要发现

• 属性下降在减少合成 VehicleX 数据与真实数据之间的 FID 的同时，提高了重识别的 mAP 和 Rank-1 精度。
• 朝向对分布对齐和性能的影响最大，其次是光照与相机属性。
• 学习得到的合成数据在多个数据集上的重识别准确性优于随机属性。
• 以合成数据预训练后再用真实数据微调的两阶段训练在 VehicleID、VeRi-776 以及 CityFlow 上带来显著性能提升。
• 风格域自适应（SPGAN）在与合成数据一起用于跨域重识别时显著提升性能。