[论文解读] The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models

Stephan Rabanser, Tim Januschowski+3 more|arXiv (Cornell University)|May 20, 2020

Time Series Analysis and Forecasting被引用 17

一句话总结

本文研究了数据离散化——将实值时间序列转换为类别化区间——对神经网络模型预测性能的影响。研究发现，无论采用前馈、循环还是卷积架构，离散化均能持续提升预测准确性，且离散化方法的选择对性能的影响远小于离散化本身的影响。

ABSTRACT

Time series modeling techniques based on deep learning have seen many advancements in recent years, especially in data-abundant settings and with the central aim of learning global models that can extract patterns across multiple time series. While the crucial importance of appropriate data pre-processing and scaling has often been noted in prior work, most studies focus on improving model architectures. In this paper we empirically investigate the effect of data input and output transformations on the predictive performance of several neural forecasting architectures. In particular, we investigate the effectiveness of several forms of data binning, i.e. converting real-valued time series into categorical ones, when combined with feed-forward, recurrent neural networks, and convolution-based sequence models. In many non-forecasting applications where these models have been very successful, the model inputs and outputs are categorical (e.g. words from a fixed vocabulary in natural language processing applications or quantized pixel color intensities in computer vision). For forecasting applications, where the time series are typically real-valued, various ad-hoc data transformations have been proposed, but have not been systematically compared. To remedy this, we evaluate the forecasting accuracy of instances of the aforementioned model classes when combined with different types of data scaling and binning. We find that binning almost always improves performance (compared to using normalized real-valued inputs), but that the particular type of binning chosen is of lesser importance.

研究动机与目标

• 系统评估输入和输出数据变换（尤其是离散化）对神经时间序列预测模型性能的影响。
• 解决在时间序列预测中，特别是在数据丰富、全局建模设置下，各种数据预处理技术之间缺乏实证比较的问题。
• 确定离散化（在自然语言处理和计算机视觉中常用）是否能提升实值时间序列的预测准确性。
• 评估不同分箱策略（如等宽、等频、分位数基础）的选择是否显著影响模型性能。
• 探索输入和输出变换对模型性能的影响是否大于神经时间序列预测模型的架构差异。

提出的方法

• 通过实证比较多种输入和输出变换技术，包括归一化、标准化、对数/Box-Cox变换，以及多种分箱策略（等宽、等频、分位数基础）。
• 将这些变换应用于多种神经时间序列预测架构：前馈网络、循环神经网络（RNN）和一维空洞因果卷积网络。
• 采用概率预测设置，包括分位数回归、混合密度网络和离散化逻辑混合似然函数进行输出建模。
• 在多个公开的时间序列数据集上评估模型，使用标准指标如MASE、sMAPE和CRPS进行性能度量。
• 实施混合分箱策略，结合全局（全面板）和局部（单个时间序列）分箱，以捕捉共有的和特有的模式。
• 进行广泛的超参数调优，以隔离变换对性能的影响，避免与特定模型优化混淆。

实验结果

研究问题

• RQ1 对实值时间序列输入进行离散化是否能在多种神经网络架构中提升预测性能？
• RQ2 不同分箱策略（如等宽、等频、分位数基础）在预测准确性方面的表现如何比较？
• RQ3 输入和输出变换对模型性能的影响是否与架构差异相当或更大？
• RQ4 结合全局和局部效应的混合分箱策略是否能优于纯全局或纯局部方法，从而提升预测性能？
• RQ5 尽管类别分布忽略了连续的距离和顺序信息，离散化在多大程度上仍能保留预测效用？

主要发现

• 对所有测试的神经网络架构（包括前馈、RNN和卷积模型）而言，输入时间序列的离散化均能持续提升预测性能。
• 分箱方法的选择（如等宽、等频、分位数基础）对性能的影响极小，表明不同分箱方案具有高度鲁棒性。
• 输入和输出变换对预测性能的影响大于模型架构之间的差异，表明其在预测流程中具有关键作用。
• 尽管类别分布忽略了连续的顺序和距离信息，但其表现出乎意料地出色，表明离散化已捕捉到足够强的信号以实现准确预测。
• 混合分箱策略（结合全局与局部分箱）展现出潜力，通过同时利用共享模式和单个时间序列的特征提升预测性能。
• 本研究强调了未来研究的必要性：开发既能保留离散化优势，又能整合序数和距离信息的方法，例如离散化逻辑混合似然函数。