[论文解读] Synthetic Data in Human Analysis: A Survey

Indu Joshi, Marcel Grimmer+4 more|arXiv (Cornell University)|Aug 19, 2022

Context-Aware Activity Recognition Systems被引用 16

一句话总结

本综述综合了当前关于人体分析中合成数据生成的研究，涵盖生物特征识别、动作识别和人员重识别中的技术、应用与挑战。它强调了合成数据在提升隐私保护、可扩展性与模型泛化能力方面的优势，同时指出了身份泄露、表征保真度不足以及公开数据集共享缺失等关键问题。

ABSTRACT

Deep neural networks have become prevalent in human analysis, boosting the performance of applications, such as biometric recognition, action recognition, as well as person re-identification. However, the performance of such networks scales with the available training data. In human analysis, the demand for large-scale datasets poses a severe challenge, as data collection is tedious, time-expensive, costly and must comply with data protection laws. Current research investigates the generation of extit{synthetic data} as an efficient and privacy-ensuring alternative to collecting real data in the field. This survey introduces the basic definitions and methodologies, essential when generating and employing synthetic data for human analysis. We conduct a survey that summarises current state-of-the-art methods and the main benefits of using synthetic data. We also provide an overview of publicly available synthetic datasets and generation models. Finally, we discuss limitations, as well as open research problems in this field. This survey is intended for researchers and practitioners in the field of human analysis.

研究动机与目标

• 解决人体分析应用中真实世界训练数据有限、成本高昂且受隐私限制的关键挑战。
• 探索合成数据作为在GDPR等法规框架下真实数据采集的可扩展、隐私保护替代方案。
• 系统评估深度学习在人体分析中合成数据生成的益处、局限性及开放性研究问题。
• 提供最先进的生成技术、公开可用数据集及评估框架的全面概述。
• 强调在合成数据中对人口统计多样性与表征保真度进行标准化评估的必要性。

提出的方法

• 调查并分类用于人体分析的现有深度生成模型，包括生成对抗网络（GANs）、变自编码器（VAEs）、扩散模型及基于风格的网络。
• 将合成数据生成划分为完全合成与半合成方法，应用于人脸、指纹、姿态与动作生成。
• 分析训练方案，如合成训练、数据增强、模型初始化与域适应，以弥合合成数据到真实数据的域差距。
• 回顾使用合成数据集进行基准测试的评估策略，包括对抗性测试与系统鲁棒性评估。
• 研究减少身份泄露的技术，如架构正则化与模型复杂度控制。
• 通过比较真实与合成样本之间的统计与结构特性（如指纹中的纹线分布）来评估表征保真度。

实验结果

研究问题

• RQ1 如何在确保符合GDPR等数据保护法规的前提下，利用合成数据提升人体分析中模型的性能？
• RQ2 在生成高保真度、隐私保护型合成人体数据方面，面临的主要技术与伦理挑战是什么？
• RQ3 合成数据集在多大程度上反映了真实世界数据中存在的个体内差异与跨人口统计群体差异？
• RQ4 如何在人体分析中有效利用合成数据进行模型预训练、微调与域适应？
• RQ5 由于缺乏公开共享的合成数据集，当前在可复现性与公平比较方面存在哪些关键差距？

主要发现

• 通过增加训练数据规模与多样性，合成数据显著提升了生物特征识别、动作识别与人员重识别中模型的性能。
• 当模型复杂度低于训练数据复杂度时，生成模型中的身份泄露问题得以减少，从而缓解了对个体身份的记忆化现象。
• SFinGe生成的合成指纹数据在纹线分布上与真实指纹存在显著统计差异，表明存在表征保真度问题。
• 基于合成失真数据训练的指纹增强模型，其性能取决于合成噪声与真实世界噪声模式的匹配程度。
• 目前公开共享的合成数据集仍十分有限，严重削弱了方法间的可复现性与公平基准测试。
• ISO/IEC 19795-10草案标准旨在为评估合成数据集中人口统计性能差异提供一致的框架。