[论文解读] Probabilistic Time Series Forecasts with Autoregressive Transformation Models

David Rügamer, Philipp F. M. Baumann+2 more|arXiv (Cornell University)|Oct 15, 2021

Stock Market Forecasting Methods被引用 1

一句话总结

本文提出了自回归变换模型（ATMs），这是一种半参数框架，结合了表达性强的分布预测与可解释的参数变换，用于概率时间序列预测。通过利用自回归变换的正规化流，ATMs 在建模复杂、非高斯分布（如双峰或偏态密度）方面实现了卓越的灵活性，同时保持了计算效率和可解释性，在模拟数据和真实世界数据集上均优于传统的 ARIMA 和 Prophet 模型。

ABSTRACT

Probabilistic forecasting of time series is an important matter in many applications and research fields. In order to draw conclusions from a probabilistic forecast, we must ensure that the model class used to approximate the true forecasting distribution is expressive enough. Yet, characteristics of the model itself, such as its uncertainty or its feature-outcome relationship are not of lesser importance. This paper proposes Autoregressive Transformation Models (ATMs), a model class inspired by various research directions to unite expressive distributional forecasts using a semi-parametric distribution assumption with an interpretable model specification. We demonstrate the properties of ATMs both theoretically and through empirical evaluation on several simulated and real-world forecasting datasets.

研究动机与目标

• 开发一种灵活且可解释的概率时间序列预测模型类别，以捕捉复杂的条件分布。
• 解决参数模型在表达非高斯、多峰或偏态预测分布方面的局限性。
• 通过自回归变换，将正规化流的表达能力与参数模型的可解释性相结合。
• 为 AT(p) 模型中的参数估计提供理论渐近结果，并通过实证方法验证性能。
• 在多种真实世界时间序列（包括电力、汇率、交通和旅游数据）中展示该方法的有效性。

提出的方法

• ATMs 采用半参数方法，通过一系列参数化、自回归变换将简单的基分布 FZ 转换为复杂的条件分布 FY|x。
• 模型通过逆变换 h(y) = z 定义，其中 z ∼ FZ，从而可通过变量变换公式实现精确的密度评估。
• 变换函数 h 被建模为带有滞后值作为协变量的加法预测器，确保自回归结构和可解释性。
• 该方法采用正规化流（NFs）作为通用框架，AT(p) 是仅使用单层变换的特例。
• 通过深度回归和加法建模中的优化技术，采用最大似然估计进行模型拟合。
• 该方法在较弱正则性条件下可实现条件密度的通用逼近，从而实现对复杂时间序列分布的灵活建模。

实验结果

研究问题

• RQ1 自回归变换模型能否有效建模时间序列预测中复杂的非高斯条件密度？
• RQ2 ATMs 在概率预测精度方面与经典模型（如 ARIMA）和现代方法（如 Prophet）相比表现如何？
• RQ3 ATMs 在实现高表达性的同时，能在多大程度上保持可解释性？
• RQ4 AT(p) 模型中的参数估计具有哪些理论性质，特别是渐近一致性和效率？
• RQ5 与其它深度概率预测方法相比，ATMs 的可扩展性和计算效率如何？

主要发现

• ATMs 在模拟数据中成功建模了复杂、多峰的预测分布（如双峰结果），而传统参数模型则无法实现，验证了其有效性。
• 在真实世界数据集（电力、汇率、交通、旅游及 M4 数据集）上，ATMs 在连续 ranked probability score（CRPS）指标上表现更优，优于 ARIMA 和 Prophet。
• ATMs 的纯 R 实现展现出具有竞争力的运行性能，运行时间呈次指数级增长；而神经网络版本在 10^5 个观测值下仍能保持稳定的推理时间。
• ATMs 展现出强大的理论性质：AT(p) 模型的参数估计被证明具有渐近正态性和一致性。
• 该方法通过将滞后值与变换函数关联，实现了时间序列的可解释建模，在保持模型透明性的同时实现了高度灵活性。
• 实证结果证实，ATMs 能够捕捉时间序列中的非线性、非高斯和异方差动态，适用于真实世界预测应用。