[论文解读] Synthetic Image Data for Deep Learning

Jason W. Anderson, Marcin Ziółkowski+2 more|arXiv (Cornell University)|Dec 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出使用从真实车辆CAD模型生成的高保真、基于物理的合成图像，对有限的真实训练数据进行增强，以提升语义分割模型的性能。实验表明，将少量真实数据与合成数据结合，可显著提升模型准确率，且在合成数据上进行预训练可将迁移学习的训练成本降低高达90%，在数据稀缺的领域中表现出极高的有效性。

ABSTRACT

Realistic synthetic image data rendered from 3D models can be used to augment image sets and train image classification semantic segmentation models. In this work, we explore how high quality physically-based rendering and domain randomization can efficiently create a large synthetic dataset based on production 3D CAD models of a real vehicle. We use this dataset to quantify the effectiveness of synthetic augmentation using U-net and Double-U-net models. We found that, for this domain, synthetic images were an effective technique for augmenting limited sets of real training data. We observed that models trained on purely synthetic images had a very low mean prediction IoU on real validation images. We also observed that adding even very small amounts of real images to a synthetic dataset greatly improved accuracy, and that models trained on datasets augmented with synthetic images were more accurate than those trained on real images alone. Finally, we found that in use cases that benefit from incremental training or model specialization, pretraining a base model on synthetic images provided a sizeable reduction in the training cost of transfer learning, allowing up to 90\% of the model training to be front-loaded.

研究动机与目标

• 解决工业异常检测中语义分割任务因真实训练图像有限且难以获取而带来的挑战。
• 探究合成图像数据是否能有效增强真实数据以提升模型准确率。
• 评估合成数据在多阶段分割模型（如Double-U-net）中用于预训练和迁移学习的有效性。
• 确定最优的合成数据与真实数据比例，以及增量训练对模型性能的影响。

提出的方法

• 利用真实车辆的3D CAD模型生成高质量、基于物理的合成图像，并通过领域随机化提升多样性。
• 在不同组合的合成与真实图像数据上训练U-net和Double-U-net模型，以评估性能表现。
• 采用两阶段训练策略：先在合成数据上进行预训练，再在真实数据上微调，以实现迁移学习。
• 对比从随机初始化、ImageNet预训练的VGG19，以及在合成数据上预训练的编码器在迁移学习中的表现。
• 在Double-U-net架构中，通过像素级乘法与跳跃连接融合，增强双U-net分支的特征学习能力。
• 使用真实验证图像上的平均交并比（IoU）评估模型性能，以衡量泛化能力。

实验结果

研究问题

• RQ1 当与有限的真实训练数据结合时，合成图像数据在提升语义分割准确率方面的有效性如何？
• RQ2 仅使用合成图像训练的分割模型与仅使用真实图像训练的模型相比，性能有何差异？
• RQ3 在数据稀缺领域中，能否通过在合成数据上预训练来降低迁移学习的训练成本？
• RQ4 在该分割任务中，为最大化模型准确率，最优的合成数据与真实数据比例是多少？
• RQ5 采用合成数据预训练的Double-U-net架构，与标准U-net及ImageNet微调的模型相比，性能如何？

主要发现

• 仅在合成图像上训练的模型在真实验证数据上的平均预测IoU极低（表明泛化能力差）。
• 即使在合成数据集中加入256–512张真实图像，也能显著提升模型准确率，优于仅使用真实数据训练的模型。
• 通过合成数据增强的数据集训练的模型，其准确率高于仅使用真实图像训练的模型。
• 在合成数据上预训练可将迁移学习场景下的总训练时间减少高达90%，从而实现高效的增量模型优化。
• 最优的合成数据与真实数据比例约为256–512张真实图像，超过该比例后，增加更多合成数据将导致收益递减，甚至出现准确率下降。
• 采用合成数据预训练编码器的Double-U-net模型，其准确率与VGG19微调模型相当或更优，尽管训练成本更高。