[论文解读] Synthcity: facilitating innovative use cases of synthetic data in different data modalities

Zhaozhi Qian, Bogdan-Constantin Cebere+1 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Data Storage Technologies被引用 25

一句话总结

Synthcity 是一个开源平台，提供用于跨多种表格模态的合成数据的模块化生成器和评估工具，聚焦于公平性、隐私和数据增强。它支持快速基准测试、实验和跨域工作流。

ABSTRACT

Synthcity is an open-source software package for innovative use cases of synthetic data in ML fairness, privacy and augmentation across diverse tabular data modalities, including static data, regular and irregular time series, data with censoring, multi-source data, composite data, and more. Synthcity provides the practitioners with a single access point to cutting edge research and tools in synthetic data. It also offers the community a playground for rapid experimentation and prototyping, a one-stop-shop for SOTA benchmarks, and an opportunity for extending research impact. The library can be accessed on GitHub (https://github.com/vanderschaarlab/synthcity) and pip (https://pypi.org/project/synthcity/). We warmly invite the community to join the development effort by providing feedback, reporting bugs, and contributing code.

研究动机与目标

• 在高风险领域的数据稀缺、隐私和偏见问题，引发对人工智能合成数据需求的动机。
• 引入一个模块化的软件平台，整合跨数据模态的合成数据生成、评估与基准测试。
• 提供可扩展的工作流程和工具，用于实验化生成器、度量指标和跨领域数据场景。
• 强调对表格数据模态（静态、时间序列、带删失）以及带元数据指导的复合数据集的支持。

提出的方法

• 提出一个带有 DataLoader、Plugin（生成器）、generate 和 Metrics 组件的模块化工作流，以简化合成数据的生成与评估。
• 编目一系列插件（生成器）及相应的网络结构，适用于不同数据模态和用例。
• 描述涵盖忠实度、实用性和隐私性的评估指标，并提供一个 Benchmark 工具以比较生成器。
• 详细说明单数据集和复合数据集的处理，以及元数据指导和缺失数据处理（计划中的增强）。
• 将 synthcity 与其他库进行比较，以强调更广泛的数据模态和用例支持。

Figure 1: Synthcity covers diverse problem settings by mapping different data modalities and use cases to a host of deep learning and traditional data generation algorithms.

实验结果

研究问题

• RQ1 统一平台如何在合成数据生成中支持多样的数据模态和用例（公平性、隐私、增强）？
• RQ2 在静态、时间序列、删失数据和复合表格数据中，哪些生成器、架构和评估指标的组合最有效？
• RQ3 模块化、可互操作的库能否在现实世界场景中改进基准测试、测试和对合成数据方法的采用？
• RQ4 哪些实际工作流程和元数据指导有助于优化合成数据生成及下游效用？
• RQ5 在模态覆盖和评估能力方面，synthcity 与现有库相比如何？

主要发现

• Synthcity 提供了一个 beta 库，覆盖表格数据的主要合成数据用例（公平性、隐私、增强）。
• 它提供了带 DataLoader、Plugins、generate 和 Metrics 的标准化工作流，以及用于比较生成器的 Benchmark 工具。
• 该平台支持静态、规则时间序列、非规则时间序列、删失数据以及带元数据指导的复合数据集。
• 包含广泛的评估指标，用于评估忠实度、实用性和隐私性，从而实现全面评估。
• Synthcity 是开源的，定位于一个社区驱动的项目，未来版本计划支持更多模态和生成器。
• 与其他开源库相比，Synthcity 声称覆盖更广的数据模态和用例。

Figure 2: Standard workflow of generating and evaluating synthetic data with synthcity.