[论文解读] Statistical analysis of Wasserstein GANs with applications to time series forecasting

Moritz Haas, Stefan Richter|arXiv (Cornell University)|Nov 5, 2020

Image and Signal Denoising Methods参考文献 26被引用 6

一句话总结

本文在依赖数据条件下，为无条件与条件 Wasserstein GAN 建立了统计理论，通过使用修正的 Wasserstein 距离证明了过失贝叶斯风险的收敛速率。该理论实现了估计量的弱收敛，并为高维时间序列预测构建了渐近有效的置信区间，已在合成数据和真实气温数据上得到验证，表现出良好的经验覆盖性能。

ABSTRACT

We provide statistical theory for conditional and unconditional Wasserstein generative adversarial networks (WGANs) in the framework of dependent observations. We prove upper bounds for the excess Bayes risk of the WGAN estimators with respect to a modified Wasserstein-type distance. Furthermore, we formalize and derive statements on the weak convergence of the estimators and use them to develop confidence intervals for new observations. The theory is applied to the special case of high-dimensional time series forecasting. We analyze the behavior of the estimators in simulations based on synthetic data and investigate a real data example with temperature data. The dependency of the data is quantified with absolutely regular beta-mixing coefficients.

研究动机与目标

• 开发适用于依赖观测，特别是时间序列数据的 Wasserstein GAN 统计框架。
• 利用修正的 Wasserstein 距离，推导 WGAN 估计量过失贝叶斯风险的上界。
• 形式化 WGAN 估计量的弱收敛性，并实现对新观测值的渐近置信区间的构建。
• 研究生成器结构假设的影响，特别是对缓解维度灾难的作用。
• 通过引入 β-混合系数将现有 GAN 理论从 i.i.d. 设置扩展至依赖设定。

提出的方法

• 使用修正的 Wasserstein 距离 $ W_{1,n} $ 对 WGAN 进行理论分析，该距离在依赖数据条件下可度量弱收敛。
• 将生成器 $ g $ 建模为 Hölder 类中的函数，以推导显式的近似误差界。
• 利用 $ \beta $-混合系数量化时间序列中的依赖性，从而在弱依赖条件下实现收敛结果。
• 通过从潜变量分布 $ \mathbb{P}^Z $ 中抽取 $ N $ 次样本构建置信区间 $ I_{N,n}(A_{i-1}) $，并以经验方式评估覆盖性能。
• 使用共享生成器架构训练条件 WGAN，适用于多个时间序列，结合潜变量噪声与条件输入 $ Y $。
• 通过最优传输距离（OT）和测试集与训练集上 95% 置信区间的经验覆盖性能评估模型表现。

实验结果

研究问题

• RQ1 在依赖时间序列数据下，WGAN 估计量的过失贝叶斯风险收敛速率如何？
• RQ2 在存在依赖的情况下，如何形式化 WGAN 估计量的弱收敛性？
• RQ3 能否使用 WGAN 构建对新时间序列观测值具有渐近有效性的置信区间？
• RQ4 生成器网络的结构假设如何影响近似误差与维度灾难？
• RQ5 增加训练轮数对 WGAN 估计量的稳定性和性能有何影响？

主要发现

• 即使判别器网络规模不断增长，WGAN 目标仍能保持弱收敛的度量性质，确保在依赖设定下的统计有效性。
• 在气温预测任务中，模型 (M3) 经过 1000 轮训练后，在测试集上实现了 70.71% 的经验 95% 置信区间覆盖。
• 经过 2000 轮训练后，模型 (M3) 在柏林气温预测中的测试覆盖率达到 86.19%，表明仍有进一步提升潜力。
• 在 2000 轮训练后，模型 (M3) 的最优传输距离为 2.35，表明尽管预测维度较高（32 个城市），学习过程仍保持稳定。
• 模型 (M1) 仅使用 3D 条件输入，收敛速度更快，但最终性能与 (M2) 和 (M3) 相当，表明对输入维度具有鲁棒性。
• 理论结果在 β-混合依赖条件下成立，支持使用大规模生成器网络而不损失收敛速率。