[论文解读] Optimal time delay embedding for nonlinear time series modeling

Michael Small|ArXiv.org|Dec 5, 2003

Neural Networks and Applications参考文献 3被引用 6

一句话总结

该论文提出了一种计算高效的算法，通过在局部常数模型中最小化预测误差，确定非均匀时间延迟嵌入，以优化非线性时间序列建模。该方法在模拟和实验数据集（包括Rössler系统、Lorenz系统、太阳黑子和心室纤维性颤动系统）上验证后，相较于标准的均匀嵌入，表现出更小的嵌入窗口、更低的预测误差以及更精确的长期动态重构。

ABSTRACT

When building linear or nonlinear models one is faced with the problem of selecting the best set of variable with which to predict the future dynamics. In nonlinear time series analysis the problem is to select the correct time delays in the time delay embedding. We propose a new technique which can quantify the suitability of a particular set of variables and we suggests a computationally efficient scheme to determine the best non-uniform time delay embedding for modeling of time series. Our results are based on the assumption that, in general, the variables which give the best local constant model will also give the best nonlinear model. In a wide variety of experimental and simulated systems we find that this method produces dynamics that are more realistic and predictions that are more accurate than standard uniform embeddings.

研究动机与目标

• 解决非线性时间序列建模中缺乏通用时间延迟嵌入选择方法的问题。
• 通过用非均匀时间延迟嵌入替代均匀时间延迟嵌入，提升预测精度和动态重构能力。
• 开发一种定量、计算高效的准则，基于局部常数模型的预测误差来评估嵌入策略。
• 通过选择更少但更相关的时延，实现对复杂非线性动态的更好建模。

提出的方法

• 该方法使用局部常数模型估计候选时间延迟集合的预测误差，作为非线性模型质量的代理指标。
• 采用描述长度准则平衡模型复杂度与预测精度，倾向于选择紧凑但有效的嵌入。
• 结合遗传算法与子采样技术，高效搜索可能的非均匀延迟组合的高维空间。
• 嵌入策略通过选择一组非均匀滞后 {ℓ₁, ..., ℓₖ} 和一个嵌入窗口 d_w 定义，其中 ℓₖ ≤ d_w。
• 该方法优先选择能使局部常数模型平均预测误差最小的嵌入，其假设是更好的局部预测意味着更好的全局非线性建模。
• 该方法通过最小描述长度用于模型选择，扩展至径向基函数模型，实现稳健的非线性预测。

实验结果

研究问题

• RQ1 在非线性时间序列建模中，能够最小化预测误差的最优非均匀时间延迟集合是什么？
• RQ2 非均匀嵌入在重构系统真实动态方面与标准均匀嵌入相比表现如何？
• RQ3 能否设计一种计算高效的算法，在多种动力系统中可靠地识别出更优的嵌入策略？
• RQ4 非均匀嵌入在模拟和实验时间序列中，能在多大程度上改善长期动态行为？
• RQ5 局部常数模型的预测误差能否作为更复杂非线性模型性能的可靠代理？

主要发现

• 在所有测试数据集（包括含噪声和短时间序列）中，非均匀嵌入的平均预测误差始终低于均匀嵌入。
• 非均匀嵌入策略生成的模型相关维数更接近真实数据，表明其动态重构更具质量。
• 对于含噪声的Lorenz系统，非均匀嵌入在降低预测误差和提升模型稳定性方面优于均匀方法。
• 该方法识别出的嵌入窗口远小于 dₑτ（例如Lorenz系统中 d_w = 10，而 dₑτ = 215），实现了显著的维度压缩。
• 在30次重复试验中，非均匀嵌入策略从未失败捕捉动态，而均匀策略在重构太阳黑子动态时表现出高方差且频繁失败。
• 基于非均匀嵌入训练的径向基函数模型具有更小的平均模型规模和更好的样本外预测精度，证实了其更高的效率与性能。