[论文解读] Synthetic data generation for a longitudinal cohort study -- Evaluation, method extension and reproduction of published data analysis results

Lisa Kühnel, Julian Schneider+6 more|arXiv (Cornell University)|May 12, 2023

demographic modeling and climate adaptationDecision Sciences被引用 3

一句话总结

本研究开发并评估了VAMBN-MT，一种基于LSTM的变分自编码器，用于从DONALD队列研究中生成高保真度的合成纵向健康数据。结果表明，通过专家指导的模型扩展和充足的样本量，合成数据能够成功再现真实世界中糖摄入量的趋势，且在大规模合成数据集中实现了100%的统计显著性，而小样本数据集则表现出结果不一致的现象。

ABSTRACT

Access to individual-level health data is essential for gaining new insights and advancing science. In particular, modern methods based on artificial intelligence rely on the availability of and access to large datasets. In the health sector, access to individual-level data is often challenging due to privacy concerns. A promising alternative is the generation of fully synthetic data, i.e. data generated through a randomised process that have similar statistical properties as the original data, but do not have a one-to-one correspondence with the original individual-level records. In this study, we use a state-of-the-art synthetic data generation method and perform in-depth quality analyses of the generated data for a specific use case in the field of nutrition. We demonstrate the need for careful analyses of synthetic data that go beyond descriptive statistics and provide valuable insights into how to realise the full potential of synthetic datasets. By extending the methods, but also by thoroughly analysing the effects of sampling from a trained model, we are able to largely reproduce significant real-world analysis results in the chosen use case.

研究动机与目标

• 评估并扩展用于营养学纵向队列研究的最先进合成数据生成方法。
• 解决现有方法在纵向数据中无法保留时间点间直接依赖关系的局限性。
• 利用合成数据重现已发表的真实世界分析结果——特别是添加糖摄入量随时间与年龄的变化趋势。
• 研究抽样变异性、样本大小及变量分组对合成数据集可靠性与实用性的影。
• 为流行病学研究提供一种兼顾隐私保护、数据实用性与可重现性的方法论框架。

提出的方法

• 通过集成LSTM层，将变分自编码器与多变量归一化流（VAMBN）结合，以建模纵向数据中重复就诊之间的时序依赖关系。
• 重新构建数据表示，使单个个体的所有时间点被联合编码为单一潜在表示，从而保留就诊间的依赖关系。
• 采用分层变分自编码器架构进行训练，各时间点共享潜在空间，实现对时间上相关变量的联合建模。
• 以全连接网络作为基线进行对比（称为VAMBN-时间点展平，FT），并与LSTM增强版本（VAMBN-MT）进行比较。
• 生成不同规模的合成数据集（1,312和10,000个样本），并应用后处理以评估稳定性与可重现性。
• 通过系统性重采样（每模型100次）评估重复合成数据集中的方差、置信区间宽度及统计显著性。

实验结果

研究问题

• RQ1 VAMBN-MT生成的合成数据能否再现原始DONALD研究数据中观察到的添加糖摄入量随年龄和时间的变化趋势？
• RQ2 与真实数据相比，样本大小如何影响合成数据集中趋势检测的稳定性与统计显著性？
• RQ3 与标准前馈网络相比，引入LSTM层在建模时间点间直接依赖关系方面有多大改进？
• RQ4 将变量按领域或就诊时间分组进行联合训练（如：分组训练）如何影响相关性的保持及后续分析的有效性？
• RQ5 合成数据能否可靠地再现真实数据中非显著的趋势？这对合成数据在检测细微效应方面的实用性有何启示？

主要发现

• VAMBN-MT在保留成对相关性及直接依赖关系（如时间与年龄之间的线性关系）方面显著优于基线模型VAMBN-FT和标准VAMBN。
• 该模型以高保真度成功再现了添加糖摄入量随年龄的变化趋势，并较好地近似了时间趋势，证明其在真实世界分析复现中的实用性。
• 与较小数据集（1,312个样本）相比，更大规模的合成数据集（10,000个样本）产生了更稳定的趋势估计，置信区间更窄，且100%达到统计显著性；而小样本数据集仅在22–70%的情况下表现出显著性。
• 抽样变异性具有可测量的影响：从同一模型重复采样产生不同结果，凸显了采用大样本量以确保可靠推断的必要性。
• 该模型未能再现总糖摄入量中非显著的线性与二次时间趋势，表明合成数据无法可靠复现真实世界中非显著的研究发现。
• 合理分组变量——尤其是将相关变量（如母亲教育水平）联合训练——对保持相关性至关重要；若使用独立自编码器，则会导致关键关系的丢失。