[论文解读] PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting

Yanyan Jia, Youfang Lin+4 more|arXiv (Cornell University)|Sep 26, 2024

Medical Coding and Health Information被引用 6

一句话总结

PGN 将并行门控网络作为 RNN 的继任者引入，以及 Temporal PGN (TPGN) 通过两个分支来捕捉长期和短期信息，以实现高效的长序列时间序列预测，在五个基准数据集上达到 SOTA。

ABSTRACT

Due to the recurrent structure of RNN, the long information propagation path poses limitations in capturing long-term dependencies, gradient explosion/vanishing issues, and inefficient sequential execution. Based on this, we propose a novel paradigm called Parallel Gated Network (PGN) as the new successor to RNN. PGN directly captures information from previous time steps through the designed Historical Information Extraction (HIE) layer and leverages gated mechanisms to select and fuse it with the current time step information. This reduces the information propagation path to $\mathcal{O}(1)$, effectively addressing the limitations of RNN. To enhance PGN's performance in long-range time series forecasting tasks, we propose a novel temporal modeling framework called Temporal PGN (TPGN). TPGN incorporates two branches to comprehensively capture the semantic information of time series. One branch utilizes PGN to capture long-term periodic patterns while preserving their local characteristics. The other branch employs patches to capture short-term information and aggregate the global representation of the series. TPGN achieves a theoretical complexity of $\mathcal{O}(\sqrt{L})$, ensuring efficiency in its operations. Experimental results on five benchmark datasets demonstrate the state-of-the-art (SOTA) performance and high efficiency of TPGN, further confirming the effectiveness of PGN as the new successor to RNN in long-range time series forecasting. The code is available in this repository: \url{https://github.com/Water2sea/TPGN}.

研究动机与目标

• 动机：由于信息传播与梯度问题，需要比传统 RNN 更好的长程时间序列预测。
• 引入 PGN，作为 RNN 的并行化继任者，具备 History Information Extraction（历史信息提取）以将传播路径减少到 O(1)。
• 开发 Temporal PGN (TPGN)，通过两个分支在二维表示中联合建模长期周期性信息和短期信息。
• 在五个真实数据集上展示最先进的预测精度和计算效率。

提出的方法

• 提出 Parallel Gated Network (PGN)，包含 History Information Extraction (HIE) 层和一个单一并行门控来融合当前信息与历史信息。
• 推导式 Out = G ⊙ H + (1−G) ⊙ tanh(Wt [X, H] + bt)，其中 H = HIE(Padding(X))，G、H 是学习得到的门控与表示。
• 将一维时间序列转换为结构化形式，并应用 PGN 以在时间维度上提取长期信息。
• 引入 Temporal PGN (TPGN) 具有两分支：一个长期分支在行上应用 PGN 以保留按列的周期性特征，另一个短期分支使用基于补丁的聚合来捕捉全局短期信息。
• 通过将两个分支的输出连接起来并通过线性层映射以获得未来序列。
• 给出复杂度分析：理论上 PGN 的复杂度为 O(L)，具备并行化运算；由于两分支设计，TPGN 的复杂度为 O(√L)。

实验结果

研究问题

• RQ1 PGN 是否能够有效替代 RNN，通过将信息传播路径减少到 O(1) 同时保留长期依赖？
• RQ2 如何将一维时间序列数据转换为二维形式，以更好地捕捉长期周期模式和短期变化？
• RQ3 两分支的 Temporal PGN 框架（基于长期 PGN 的分支和基于短期补丁的分支）是否在不同数据集上提升长程预测性能和效率？

主要发现

• TPGN 在五个真实数据集的长范围预测中实现了最先进的性能。
• TPGN 在长期任务上较此前最好方法平均提升 MSE 12.35%，MAE 提升 7.25%。
• PGN 将信息传播路径减少到 O(1)，实现并行计算，与 RNN 相同理论复杂度 O(L)，但在实际效率更高。
• TPGN 保持有利的 O(√L) 复杂度，来自其两分支结构高效处理长期与短期信息。
• 在基线和任务中，随着预测长度的增加，TPGN 显示出稳健改进，性能下降速度比竞争方法更快。
• 消融研究验证了长期基于 PGN 与短期基于补丁的分支的必要性。