[论文解读] Time series forecasting: model evaluation and selection using nonparametric risk bounds

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Dec 3, 2012

Monetary Policy and Economic Impact参考文献 69被引用 6

一句话总结

本文引入了非参数风险界，用于在不依赖强分布假设或渐近理论的前提下评估和选择时间序列预测模型。它为AR、MA及线性状态空间模型等模型提供了有限样本、高概率的误差界，使预测者能够在不确定性下选择稳健的模型，其应用涵盖金融与宏观经济学中的GARCH和DSGE模型。

ABSTRACT

We derive generalization error bounds -- bounds on the expected inaccuracy of the predictions -- for traditional time series forecasting models. Our results hold for many standard forecasting tools including autoregressive models, moving average models, and, more generally, linear state-space models. These bounds allow forecasters to select among competing models and to guarantee that with high probability, their chosen model will perform well without making strong assumptions about the data generating process or appealing to asymptotic theory. We motivate our techniques with and apply them to standard economic and nancial forecasting tools -- a GARCH model for predicting equity volatility and a dynamic stochastic general equilibrium model (DSGE), the standard tool in macroeconomic forecasting. We demonstrate in particular how our techniques can aid forecasters and policy makers in choosing models which behave well under uncertainty and mis-specifi cation.

研究动机与目标

• 为时间序列预测模型提供泛化误差界，且无需对数据生成过程施加强假设。
• 通过量化预期预测不准确性，支持在AR、MA及状态空间模型等竞争性预测工具之间的模型选择。
• 提供一种有限样本、高概率的模型评估框架，即使在模型误设和不确定性下依然有效。
• 在实际预测场景中展示其应用价值，包括股权波动率（GARCH）和宏观经济政策（DSGE）模型。
• 使预测者和政策制定者能够选择在不确定性下表现可靠的模型，而无需依赖渐近近似。

提出的方法

• 推导非参数风险界，利用经验风险最小化原理量化时间序列模型的预期预测误差。
• 将这些界应用于标准预测模型，包括自回归（AR）、移动平均（MA）和线性状态空间模型。
• 运用集中不等式和经验过程理论，在无需参数假设的前提下建立泛化误差的高概率界。
• 制定依赖于模型类复杂度和观测数据的界，从而实现有限样本性能保证。
• 将这些界整合到模型选择过程中，以识别在不确定性下预期不准确性较低的模型。
• 在真实世界预测问题上验证该框架，包括用于波动率预测的GARCH和用于宏观预测的DSGE模型。

实验结果

研究问题

• RQ1 如何在不依赖强分布假设或渐近理论的前提下，对时间序列预测模型的泛化误差进行界定？
• RQ2 哪些非参数技术可为AR、MA及状态空间模型等标准预测模型提供高概率性能保证？
• RQ3 这些风险界在模型误设和数据不确定性存在的情况下，如何改善模型选择？
• RQ4 在金融波动率预测和宏观经济政策分析等实际应用中，这些界如何增强预测的可靠性？
• RQ5 这些界能否在无需强参数假设的前提下，有效应用于GARCH和DSGE等复杂模型？

主要发现

• 所提出的非参数风险界为包括AR、MA和线性状态空间模型在内的广泛时间序列模型提供了有限样本、高概率的预测精度保证。
• 这些界使预测者能够在真实数据生成过程未知或误设的情况下，选择预期表现良好的模型。
• 该框架无需依赖渐近近似，适用于数据有限的实际预测场景。
• 在股权波动率的GARCH模型上的应用表明，这些界有助于识别在市场不确定性下具有稳定样本外表现的模型。
• 在DSGE模型上的应用表明，这些界支持选择在结构和参数不确定性下仍能保持稳健预测性能的宏观经济模型。
• 结果表明，基于这些界进行模型选择可显著提升金融与宏观经济情境下的预测可靠性。