[论文解读] Neural forecasting: Introduction and literature overview.

Konstantinos Benidis, Syama Sundar Rangapuram+10 more|arXiv (Cornell University)|Apr 21, 2020

Neural Networks and Applications参考文献 180被引用 71

一句话总结

本文对神经网络预测进行了全面的引言和文献综述，追溯了机器学习中神经网络的复兴历程，以及其在工业界和学术界预测应用中的日益普及。文章概述了推动现代神经网络预测的基础性进展，并调研了近期的发展动态与实际应用。

ABSTRACT

Neural network based forecasting methods have become ubiquitous in large-scale industrial forecasting applications over the last years. As the prevalence of neural network based solutions among the best entries in the recent M4 competition shows, the recent popularity of neural forecasting methods is not limited to industry and has also reached academia. This article aims at providing an introduction and an overview of some of the advances that have permitted the resurgence of neural networks in machine learning. Building on these foundations, the article then gives an overview of the recent literature on neural networks for forecasting and applications.

研究动机与目标

• 向研究人员介绍推动神经网络在预测中复兴的基础性发展。
• 提供神经网络在预测应用领域近期文献的系统性概述。
• 弥合工业界应用与学术研究在神经预测领域的差距。
• 突出关键的方法论创新与实际应用，推动该领域发展。
• 为进入神经预测领域的研究人员提供参考基准。

提出的方法

• 本文综合了提升神经网络在时间序列预测中性能的关键架构进展。
• 回顾了循环网络、变换器以及注意力机制在序列数据建模背景下的演进。
• 方法包括对顶级预测竞赛中最新模型的系统性分析，例如 M4 竞赛。
• 本文根据架构、训练策略和应用范围对不同的神经预测方法进行分类与比较。
• 强调注意力机制与序列到序列建模在提升长周期预测准确性方面的作用。
• 本综述整合了工业部署与学术研究的洞见，呈现当前能力与局限性的平衡视角。

实验结果

研究问题

• RQ1 哪些关键技术进步推动了神经网络在预测应用中的复兴？
• RQ2 神经网络模型如何演进以超越传统统计方法在时间序列预测中的表现？
• RQ3 当前最先进的神经预测系统中，最突出的架构与技术是什么？
• RQ4 与学术基准相比，神经预测模型在大规模工业环境中的表现如何？
• RQ5 在本文撰写时，神经预测领域的主要挑战与开放性研究问题是什么？

主要发现

• 由于模型容量与训练效率的提升，基于神经网络的预测在大规模工业应用中已成为主流。
• M4 竞赛表明，表现最佳的参赛作品主要基于神经网络，证实了其在真实世界预测任务中的优越性。
• 注意力机制与基于变换器的架构显著提升了长周期预测问题的性能。
• 具备先进门控机制的循环网络（如 LSTMs、GRUs）仍具相关性，但正日益被基于变换器的模型超越。
• 将神经网络与传统统计方法结合，产生了提升鲁棒性与可解释性的混合模型。
• 该领域已实现工业实践与学术研究的深度融合，工业界的挑战正推动神经预测的创新。