[论文解读] Sequential Models in the Synthetic Data Vault

Kevin Zhang, Neha Patki+1 more|arXiv (Cornell University)|Jul 28, 2022

Time Series Analysis and Forecasting被引用 12

一句话总结

本文提出了顺序SDV框架与CPAR模型，用于生成高保真度的合成顺序数据，利用一种条件概率自回归神经网络，建模跨多个序列的行间依赖关系。CPAR模型在学习更高级模式方面优于非顺序模型（如CTGAN），能够生成超出原始数据范围的序列，创造全新序列，并在不牺牲数据质量的前提下实现隐私保护。

ABSTRACT

The goal of this paper is to describe a system for generating synthetic sequential data within the Synthetic data vault. To achieve this, we present the Sequential model currently in SDV, an end-to-end framework that builds a generative model for multi-sequence, real-world data. This includes a novel neural network-based machine learning model, conditional probabilistic auto-regressive (CPAR) model. The overall system and the model is available in the open source Synthetic Data Vault (SDV) library {https://github.com/sdv-dev/SDV}, along with a variety of other models for different synthetic data needs. After building the Sequential SDV, we used it to generate synthetic data and compared its quality against an existing, non-sequential generative adversarial network based model called CTGAN. To compare the sequential synthetic data against its real counterpart, we invented a new metric called Multi-Sequence Aggregate Similarity (MSAS). We used it to conclude that our Sequential SDV model learns higher level patterns than non-sequential models without any trade-offs in synthetic data quality.

研究动机与目标

• 解决在具有复杂结构（如混合数据类型、不规则时间间隔和多个独立序列）的顺序真实世界数据集中对合成数据生成日益增长的需求。
• 克服非顺序生成模型（如CTGAN）的局限性，这些模型无法建模行间依赖关系、无法外推至观测范围之外，也无法生成新序列。
• 开发一种灵活的端到端框架，支持真实世界数据且预处理最少，包括处理不变的上下文列和缺失值。
• 提出一种新颖的评估指标——多序列聚合相似性（MSAS），以定量评估合成顺序数据的质量。
• 证明CPAR模型在合成数据质量上可与CTGAN相媲美，同时支持高级功能，如序列匿名化、数据增强和长期预测。

提出的方法

• 设计顺序SDV框架，作为端到端系统，用于建模具有行间依赖关系的多序列、混合类型、真实世界数据。
• 提出条件概率自回归（CPAR）模型，一种神经网络，通过依赖序列上下文和历史记录来预测下一行的分布参数。
• 使用自定义损失函数，使模型能够从完整的序列历史中学习，捕捉相隔多个时间步的行之间的长程依赖关系。
• 将序列建模为三维数据结构（批量、时间、特征），使网络能够跨多个独立序列学习更广泛的趋势。
• 通过从预测分布中采样生成合成数据，即使在上下文相同的情况下，也能实现多样化序列的随机生成。
• 实现MSAS，一种新颖指标，通过在大规模上比较真实序列与合成序列的统计特性，聚合多个序列之间的相似性。

实验结果

研究问题

• RQ1 生成模型能否有效学习并再现具有混合数据类型和不规则时间间隔的真实世界顺序数据中的复杂行间依赖关系？
• RQ2 与非顺序模型（如CTGAN）相比，顺序生成模型在合成数据质量和实用性方面表现如何？
• RQ3 顺序模型在多大程度上能够生成全新的、匿名化的序列，这些序列不直接对应于任何真实序列？
• RQ4 模型是否能够外推至原始数据的时间范围之外，从而实现预测能力？
• RQ5 将序列建模为具有共享上下文的三维数据结构，是否能在不降低合成数据质量的前提下，提升泛化能力和数据实用性？

主要发现

• 尽管建模了显著更复杂的依赖关系，CPAR模型在合成数据质量上仍可与基于非顺序GAN的CTGAN相媲美。
• CPAR模型能够生成完全全新的序列，这些序列不直接关联于任何真实序列，从而通过隐藏序列身份实现强大的隐私保护。
• 该模型支持通过生成多于原始数据集中存在的合成序列来实现数据增强，克服了非顺序模型的关键局限。
• CPAR模型能够将序列外推至观测时间范围之外，实现对未来时间的预测，这是非顺序模型所不具备的能力。
• 该模型在包括混合数据类型、缺失值和不规则时间间隔在内的多种真实世界数据集中，均保持了高质量的合成数据生成能力。
• MSAS指标成功在大规模上捕捉了合成序列与真实序列之间的相似性，验证了模型在保持高层次顺序模式方面的能力。