[论文解读] NAOMI: Non-Autoregressive Multiresolution Sequence Imputation

Yukai Liu, Rose Yu+3 more|arXiv (Cornell University)|Jan 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 16

一句话总结

NAOMI 提出了一种非自回归、多分辨率的生成模型，用于长程时空序列插补，通过从粗到细的分辨率递归填补缺失值。通过利用对抗性训练和分而治之策略，NAOMI 相较于自回归基线模型将插补误差降低了 60%，尤其在高比例缺失数据和复杂动态条件下表现优异。

ABSTRACT

Missing value imputation is a fundamental problem in spatiotemporal modeling, from motion tracking to the dynamics of physical systems. Deep autoregressive models suffer from error propagation which becomes catastrophic for imputing long-range sequences. In this paper, we take a non-autoregressive approach and propose a novel deep generative model: Non-AutOregressive Multiresolution Imputation (NAOMI) to impute long-range sequences given arbitrary missing patterns. NAOMI exploits the multiresolution structure of spatiotemporal data and decodes recursively from coarse to fine-grained resolutions using a divide-and-conquer strategy. We further enhance our model with adversarial training. When evaluated extensively on benchmark datasets from systems of both deterministic and stochastic dynamics. NAOMI demonstrates significant improvement in imputation accuracy (reducing average prediction error by 60% compared to autoregressive counterparts) and generalization for long range sequences.

研究动机与目标

• 解决长程时空序列中缺失值插补的关键挑战，尤其是在缺失模式任意且数据稀疏的情况下。
• 克服自回归模型中的误差传播问题，该问题因序列依赖性和误差累积在长序列中变得灾难性。
• 开发一种可扩展的非自回归替代方案，同时依赖过去和未来的观测值，以提升稳定性和准确性。
• 通过学习完整序列上的灵活条件分布，实现在高比例缺失数据下的鲁棒泛化能力。
• 将对抗性训练与可微分生成器相结合，以降低方差并提升生成轨迹的真实性。

提出的方法

• 采用多分辨率分解策略，从粗粒度到细粒度的时间分辨率递归地填补缺失值。
• 使用非自回归解码机制，同时依赖历史和未来观测值，避免序列误差传播。
• 实施递归的、分而治之的推理过程，将序列划分为多个分辨率层级以实现高效建模。
• 应用生成对抗性模仿学习（GAIL），并使用完全可微分的生成器以稳定训练并减少模式崩溃。
• 采用基于观测数据的完整序列条件似然目标进行训练，实现对条件分布的完整生成建模。
• 使用多尺度判别器，以在不同时间尺度上强化真实性，提升生成序列的保真度。

实验结果

研究问题

• RQ1 在任意缺失模式下，非自回归模型是否能在长程序列插补中超越自回归模型？
• RQ2 与单分辨率或自回归方法相比，递归多分辨率解码在提升插补准确性和泛化能力方面有何优势？
• RQ3 使用可微分策略的对抗性训练在多大程度上能降低序列插补中的方差和模式崩溃？
• RQ4 随着缺失数据比例的增加，模型表现如何？在观测约束与模型灵活性之间存在何种权衡？
• RQ5 同一模型架构是否可有效微调用于前向预测而无需架构更改？

主要发现

• 在包括交通、台球和篮球轨迹在内的基准数据集上，NAOMI 相较于自回归基线模型，平均插补误差降低了 60%。
• 该模型在所有指标上均表现更优——包括蜿蜒度、步长变化、反射准确性及 L2 损失，尤其在前向预测中达到专家水平的性能。
• 在台球前向预测中，NAOMI 的 L2 损失为 1.682×10⁻³，而 SingleRes 为 4.753×10⁻³，专家为 0.0，表明其接近专家精度。
• 随着已知观测值数量的增加，NAOMI 预测的方差减小，反映出其学习到的条件分布不确定性降低。
• 在高比例缺失数据下，NAOMI 的泛化能力优于自回归模型，而基线模型性能显著下降。
• 尽管存在部分模式崩溃，NAOMI 仍能成功捕捉复杂动态，如球体反射和曲线轨迹，即使在观测稀疏时亦然。