[论文解读] Time-series Generation by Contrastive Imitation

Daniel Jarrett, Ioana Bica+1 more|arXiv (Cornell University)|Nov 2, 2023

Time Series Analysis and Forecasting被引用 7

一句话总结

提出 TimeGCI，一种非对抗、模仿式框架，在学习前瞻性策略以生成时间序列的同时，使用对比训练的能量模型来评估轨迹质量。

ABSTRACT

Consider learning a generative model for time-series data. The sequential setting poses a unique challenge: Not only should the generator capture the conditional dynamics of (stepwise) transitions, but its open-loop rollouts should also preserve the joint distribution of (multi-step) trajectories. On one hand, autoregressive models trained by MLE allow learning and computing explicit transition distributions, but suffer from compounding error during rollouts. On the other hand, adversarial models based on GAN training alleviate such exposure bias, but transitions are implicit and hard to assess. In this work, we study a generative framework that seeks to combine the strengths of both: Motivated by a moment-matching objective to mitigate compounding error, we optimize a local (but forward-looking) transition policy, where the reinforcement signal is provided by a global (but stepwise-decomposable) energy model trained by contrastive estimation. At training, the two components are learned cooperatively, avoiding the instabilities typical of adversarial objectives. At inference, the learned policy serves as the generator for iterative sampling, and the learned energy serves as a trajectory-level measure for evaluating sample quality. By expressly training a policy to imitate sequential behavior of time-series features in a dataset, this approach embodies "generation by imitation". Theoretically, we illustrate the correctness of this formulation and the consistency of the algorithm. Empirically, we evaluate its ability to generate predictively useful samples from real-world datasets, verifying that it performs at the standard of existing benchmarks.

研究动机与目标

• 在时间序列生成中动员并形式化累积误差问题。
• 开发一个通过前瞻性策略来模仿序贯行为的生成框架。
• 引入通过对比估计训练的全局轨迹级能量模型作为解耦评估器。
• 提供一个非对抗性训练循环，避免暴露偏差和鞍点优化。
• 在真实世界时间序列数据上展示的一致性和经验有效性。

提出的方法

• 定义一个带有历史 h_t 和轨迹 tau 的时间序列生成设定，并引入占据度量 mu_s(h)。
• 提出一个双重目标：先匹配局部转移，然后通过能量基建建模来匹配全局轨迹分布。
• 构建一个结构化分类器 d_{theta,phi} 将真实与生成轨迹对比，并推导对比学习目标。
• 用对比框架替换嵌套的最小-最大优化，其中策略 p_theta 模仿时间序列行为，同时能量模型 p_phi 评估样本。
• 使用一个实际算法（TimeGCI）将策略优化（soft actor-critic）与对比能量更新器结合起来，以及一个用于值估计的评估器。
• 论证该方法能够为能量模型提供全局最优性，并通过全局矩 moment 匹配降低暴露偏差。

实验结果

研究问题

• RQ1 如何生成既满足逐步条件又满足联合轨迹分布的时间序列数据，同时避免暴露偏差？
• RQ2 是否可以训练一个前瞻性策略来模仿序列时间序列行为，同时用通过对比估计训练的能量模型来评估轨迹质量？
• RQ3 非对抗的、基于能量的评估是否能为时间序列生成提供一个稳定的替代 GAN 的方法？
• RQ4 对这种对比模仿框架的一致性和最优性可以提供哪些理论保证？
• RQ5 TimeGCI 与自回归 MLE 以及基于 GAN 的方法在真实数据集上的比较如何？

主要发现

• 提出 TimeGCI，一种非对抗框架，训练一个条件策略以模仿序列行为，并训练一个能量模型来评估轨迹。
• 表明对比目标在温和的正性条件下为能量模型提供全局最优性。
• 证明渐近一致性：随着样本量增加，能量模型收敛到真实数据分布。
• 论证自适应负样本（通过策略）通过逐步挑战能量模型来改进学习。
• 提供一个将策略更新与能量更新交错的实际优化算法，避免嵌套内循环。