[论文解读] Recurrent Neural Processes

Timon Willi, Jonathan Masci+2 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 21被引用 13

一句话总结

本文提出循环神经过程（RNPs），一种新型的条件状态空间模型家族，通过使用神经过程对潜在状态空间进行建模，将神经过程（NPs）扩展至序列数据。RNPs 通过子序列之间的条件独立性，高效捕捉快速变化时间序列中的缓慢、长期的时间模式，实现精确的不确定性估计和高推理效率——在真实世界时间序列预测与非线性系统辨识任务中表现优异，尤其在数据稀缺条件下表现突出。

ABSTRACT

We extend Neural Processes (NPs) to sequential data through Recurrent NPs or RNPs, a family of conditional state space models. RNPs model the state space with Neural Processes. Given time series observed on fast real-world time scales but containing slow long-term variabilities, RNPs may derive appropriate slow latent time scales. They do so in an efficient manner by establishing conditional independence among subsequences of the time series. Our theoretically grounded framework for stochastic processes expands the applicability of NPs while retaining their benefits of flexibility, uncertainty estimation, and favorable runtime with respect to Gaussian Processes (GPs). We demonstrate that state spaces learned by RNPs benefit predictive performance on real-world time-series data and nonlinear system identification, even in the case of limited data availability.

研究动机与目标

• 通过在潜在状态空间中引入循环结构，将神经过程（NPs）扩展至序列和时间数据。
• 通过建立子序列之间的条件独立性，实现在快速采样但存在缓慢长期变化的时间序列中高效推理，从而应对真实世界中快速采样但缓慢变化的动态。
• 在将 NPs 应用于随时间演化的随机过程时，保留其优势：灵活性、不确定性估计能力以及 O(n+m) 的运行时复杂度。
• 在真实世界时间序列数据集上，展示改进的预测性能和信息丰富的不确定性量化，尤其在数据有限的情况下。

提出的方法

• 使用神经过程（NPs）对时间序列的状态空间进行建模，实现对函数的分布建模和不确定性估计。
• 通过 $ P(z_t | z_{<t}, C_t) $ 在潜在变量先验中引入循环结构，使模型能够在时间步之间保持隐藏状态。
• 在时间序列的非重叠子序列之间建立条件独立性，实现无需完整序列依赖的高效、可扩展推理。
• 采用分层神经过程架构对多时间尺度进行建模，捕捉数据中的快速波动与缓慢趋势。
• 使用基于目标观测对数似然的变分下界导出的可微损失函数，端到端训练模型。
• 将框架应用于一步预测任务，采用自回归与非自回归两种解码策略。

实验结果

研究问题

• RQ1 神经过程能否被扩展以建模序列数据，同时保持其计算效率和不确定性估计能力？
• RQ2 如何将循环结构整合到神经过程的潜在状态空间中，以建模随时间演化的随机过程？
• RQ3 RNPs 是否能有效从未受监督的高频观测中学习到缓慢、长期的时间模式，而无需对这些模式进行显式标注？
• RQ4 子序列之间的条件独立性假设是否能实现长序列时间序列中可扩展且准确的推理？
• RQ5 在真实世界时间序列基准上，RNPs 在预测准确性和不确定性校准方面与现有状态空间模型相比表现如何？

主要发现

• 在 Drives 数据集上，RNPs 的归一化均方误差（MSE）为 0.238，显著优于 LSTM（1.000）和 GP-NARX（0.953），表明在数据稀缺条件下具备强大的泛化能力。
• 在 Drives 数据集上，RNP 模型的预测区间覆盖概率（PICP）达到 0.874，表明即使在数据有限的情况下，也能实现可靠的不确定性量化。
• 在 Electricity 数据集上，RNP 的归一化 MSE 为 1.111，优于多个基线模型，包括 VRNN（1.902）和 DSSM（1.131），并展现出对复杂时间动态的鲁棒捕捉能力。
• 定性分析表明，RNPs 能够准确预测目标序列的起始点，并在高变异性区域动态调整不确定性。
• 该模型能够从未受干扰的高频观测（如每小时温度）中学习到缓慢的潜在时间尺度（如季节性模式），即使这些模式被快速波动所掩盖。
• 该框架支持对随机过程的分层建模，实现对多尺度时间依赖关系的可扩展且灵活的建模。