[论文解读] Theoretical analysis of deep neural networks for temporally dependent observations

Mingliang Ma, Abolfazl Safikhani|arXiv (Cornell University)|Oct 20, 2022

Stock Market Forecasting Methods被引用 4

一句话总结

本文为具有ReLU激活函数的深层前馈神经网络在时间相关的时间序列数据上建立了非渐近预测误差界。在混合型依赖假设下，收敛速率相比独立数据多出一个 log⁴(n) 因子，量化了时间依赖性对非线性时间序列建模中神经网络性能的影响。

ABSTRACT

Deep neural networks are powerful tools to model observations over time with non-linear patterns. Despite the widespread use of neural networks in such settings, most theoretical developments of deep neural networks are under the assumption of independent observations, and theoretical results for temporally dependent observations are scarce. To bridge this gap, we study theoretical properties of deep neural networks on modeling non-linear time series data. Specifically, non-asymptotic bounds for prediction error of (sparse) feed-forward neural network with ReLU activation function is established under mixing-type assumptions. These assumptions are mild such that they include a wide range of time series models including auto-regressive models. Compared to independent observations, established convergence rates have additional logarithmic factors to compensate for additional complexity due to dependence among data points. The theoretical results are supported via various numerical simulation settings as well as an application to a macroeconomic data set.

研究动机与目标

• 为解决深度神经网络在建模具有时间依赖性的非线性时间序列时缺乏理论基础的问题。
• 将先前在独立观测下推导出的收敛率结果，扩展到具有依赖性、平稳的时间序列数据设置中。
• 量化时间依赖性对使用稀疏前馈结构与ReLU激活函数的深层神经网络预测误差率的影响。
• 通过模拟实验和宏观经济数据应用验证理论发现，展示其在实际中的相关性。

提出的方法

• 在混合型依赖假设下，推导出具有ReLU激活函数的稀疏前馈神经网络的非渐近预测误差界。
• 采用统计风险框架分析期望平方预测误差，包含逼近误差和估计误差两部分。
• 应用Wold分解将结果推广至一般平稳时间序列模型，将收敛速率与AR(∞)系数的衰减速率联系起来。
• 采用基于熵的技术和覆盖数控制函数类的复杂度，log N_n 的界与 dL log n 成比例。
• 提出一种神经网络架构，通过嵌入历史观测值并利用深度与稀疏性来逼近真实回归函数。
• 通过两步论证建立收敛速率：通过系数衰减控制逼近误差，通过依赖性带来的 log⁴(n) 因子控制估计误差。

实验结果

研究问题

• RQ1 时间序列数据中的时间依赖性如何影响深层神经网络的预测误差收敛速率？
• RQ2 在弱依赖假设（如混合条件）下，能否为深层神经网络建立理论预测误差界？
• RQ3 AR(∞)系数的衰减速率对非线性时间序列中神经网络估计器的收敛速率有何影响？
• RQ4 由于依赖性引入的对数因子与独立情况相比，在收敛速度上表现如何？
• RQ5 理论预测与模拟实验及真实宏观经济预测中的实际表现之间的一致性程度如何？

主要发现

• 与独立情况相比，时间依赖数据上深层神经网络的预测误差收敛速率多出一个 log⁴(n) 因子，反映出依赖性带来的复杂性增加。
• 在混合条件下，神经网络估计器的统计风险与独立情况相比仅多出一个 log⁴(n) 乘法因子，从而确立了理论一致性。
• 对于具有AR(∞)表示的时间序列，系数 φ_i 的衰减速率决定了逼近误差；衰减越快，收敛速率越好。
• 当系数衰减为多项式速率 α 时，最优收敛速率为 O(n⁻α/(α+1))，可通过适当选择网络深度与宽度实现。
• 实证结果表明，深层神经网络在线性与非线性AR模型上的表现与LSTM相当，预测误差无统计显著差异。
• 理论界得到模拟实验和真实宏观经济数据集的支持，证实了该模型在时间序列预测中的鲁棒性与实际相关性。