[论文解读] Two-Stage Data Synthesization: A Statistics-Driven Restricted Trade-off between Privacy and Prediction

Xiaotong Liu, Shao-Bo Lin+2 more|arXiv (Cornell University)|Feb 9, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

这篇论文提出一个两阶段的合成数据生成框架，先通过合成-混合步骤保留分布，然后通过核岭回归重建响应，以实现基于统计、受限隐私–预测权衡。

ABSTRACT

Synthetic data have gained increasing attention across various domains, with a growing emphasis on their performance in downstream prediction tasks. However, most existing synthesis strategies focus on maintaining statistical information. Although some studies address prediction performance guarantees, their single-stage synthesis designs make it challenging to balance the privacy requirements that necessitate significant perturbations and the prediction performance that is sensitive to such perturbations. We propose a two-stage synthesis strategy. In the first stage, we introduce a synthesis-then-hybrid strategy, which involves a synthesis operation to generate pure synthetic data, followed by a hybrid operation that fuses the synthetic data with the original data. In the second stage, we present a kernel ridge regression (KRR)-based synthesis strategy, where a KRR model is first trained on the original data and then used to generate synthetic outputs based on the synthetic inputs produced in the first stage. By leveraging the theoretical strengths of KRR and the covariant distribution retention achieved in the first stage, our proposed two-stage synthesis strategy enables a statistics-driven restricted privacy--prediction trade-off and guarantee optimal prediction performance. We validate our approach and demonstrate its characteristics of being statistics-driven and restricted in achieving the privacy--prediction trade-off both theoretically and numerically. Additionally, we showcase its generalizability through applications to a marketing problem and five real-world datasets.

研究动机与目标

• 判断需要在保护隐私的同时仍支持准确的下游预测的共享需求。
• 引入一个两阶段的SDG框架，以在隐私与预测之间实现平衡，而不仅仅关注统计量。
• 确保第一阶段保留协方差分布，以支持第二阶段的可靠预测。
• 通过基于模型的合成阶段，在分布变化和错配下保证预测性能。

提出的方法

• 阶段1使用合成-混合策略，通过可控混合参数alpha实现对协变分布保留来生成合成输入。
• 阶段2在原始数据上训练一个核岭回归模型，并利用它从合成输入生成合成输出，实现响应重建。
• 第一阶段可以采用多种策略（如拉丁超立方抽样、GAN、扩散模型），本文以LHS-H方法进行实例化。
• 基于KRR的第二阶段利用核方法的稳定性和对分布不匹配的鲁棒性来维持预测性能。
• 将预测整合到数据合成中，结合LHS-H-KRR流水线，旨在实现一个统计驱动、受限隐私–预测权衡。
• 理论基础将协变分布保留与分布偏移下的最优预测保证联系起来。

实验结果

研究问题

• RQ1 两阶段SDG设计是否能提供比单阶段方法更可控的隐私–预测权衡？
• RQ2 第一阶段的协变分布保留在使用KRR为第二阶段时对下游预测有何影响？
• RQ3 在分布变化下，基于KRR的生成器是否能可靠地在匿名化数据上重构原始回归关系？
• RQ4 将第一阶段的合成替换为其他方法对隐私和预测结果有何影响？

主要发现

• 两阶段设计（LHS-H-KRR）明确将预测集成到数据合成中，以实现隐私–预测权衡。
• 合成-混合阶段保留协变分布，在分布差异存在时实现鲁棒预测。
• 基于KRR的第二阶段提供稳定的预测性能并对分布错配具鲁棒性。
• 基于LHS的合成在保持关键统计量的同时，较GAN和扩散模型具有效率和可解释性优势。
• 该框架在市场营销任务和五个真实世界数据集上的应用表明具有泛化性。