[论文解读] Temporal Embedding in Convolutional Neural Networks for Robust Learning of Abstract Snippets

Jiajun Liu, Kun Zhao+3 more|arXiv (Cornell University)|Feb 18, 2015

Time Series Analysis and Forecasting参考文献 33被引用 6

一句话总结

本文提出 TeNet，一种时间嵌入增强的卷积神经网络，可在存在时间扭曲和错位的情况下，学习周期性时间序列中的抽象、可重复的模式（片段）。通过将时间序列与其潜在的时间邻居进行嵌入，TeNet 在移动性、电力消耗等多种模态中实现了鲁棒且准确的预测，相较于现有方法在关键指标上提升 8%–33%。

ABSTRACT

The prediction of periodical time-series remains challenging due to various types of data distortions and misalignments. Here, we propose a novel model called Temporal embedding-enhanced convolutional neural Network (TeNet) to learn repeatedly-occurring-yet-hidden structural elements in periodical time-series, called abstract snippets, for predicting future changes. Our model uses convolutional neural networks and embeds a time-series with its potential neighbors in the temporal domain for aligning it to the dominant patterns in the dataset. The model is robust to distortions and misalignments in the temporal domain and demonstrates strong prediction power for periodical time-series. We conduct extensive experiments and discover that the proposed model shows significant and consistent advantages over existing methods on a variety of data modalities ranging from human mobility to household power consumption records. Empirical results indicate that the model is robust to various factors such as number of samples, variance of data, numerical ranges of data etc. The experiments also verify that the intuition behind the model can be generalized to multiple data types and applications and promises significant improvement in prediction performances across the datasets studied.

研究动机与目标

• 解决在时间数据发生扭曲或错位时，预测周期性时间序列未来值的挑战。
• 学习在不同日期重复出现但时间上不完全对齐的抽象、可重用结构模式（片段）。
• 开发一种对时间偏移、速度变化和噪声具有鲁棒性的深度学习模型，适用于真实世界的时间序列。
• 提升智能电网管理与节能定位追踪等应用的预测准确性。
• 在不依赖位置或上下文等外部元数据的情况下，使模型在多种数据模态间具备泛化能力。

提出的方法

• TeNet 使用一种新型时间嵌入机制的 1D 卷积神经网络，通过在时间域中将时间序列与潜在邻居对齐，以增强模式识别能力。
• 通过考虑数据集中跨上下文的邻居信息，对每个时间序列片段进行嵌入，从而在时间扭曲下仍能对齐到主导的、重复出现的模式。
• 对学习到的片段应用稀疏性诱导的 L1 正则化项，以促进特征的显著性、意义性和非冗余性。
• 网络架构包括卷积层、池化层以及带有 Sigmoid 激活函数的回归输出层，旨在从部分时间序列中预测累积值（如日行驶距离）。
• 通过在验证数据上进行经验搜索，对滤波器大小、卷积核数量、学习率、时间嵌入步长和 L1 权重等超参数进行调优。
• 可选地应用高通滤波和时间偏移等数据预处理技术，以去噪并增强训练数据。

实验结果

研究问题

• RQ1 当周期性时间序列在时间上存在错位或扭曲时，深度学习模型能否有效学习并利用抽象的、重复出现的结构模式（片段）？
• RQ2 时间嵌入在提升对真实世界时间序列中时间偏移和速度变化的鲁棒性方面有何作用？
• RQ3 TeNet 在预测累积值（如日行驶距离、电力消耗）方面，相较于现有方法在多种数据模态中的表现提升程度如何？
• RQ4 模型超参数和数据预处理选择对 TeNet 性能与泛化能力的影响如何？
• RQ5 学习到的片段是否可被视觉解释为有意义、独特且能代表底层行为或物理过程的典型模式？

主要发现

• TeNet 在多个评估指标和数据集上，相较于基线方法，预测准确率持续提升 8%–33%。
• 随着训练样本数量的增加，模型性能单调提升，表明其具备良好的可扩展性和数据效率。
• 学习到的片段具有稀疏性和高度独特性，表明模型有效捕捉了训练数据中多样且不重叠的模式。
• 时间嵌入可有效实现对扭曲和错位时间序列的重对齐，该结论在具有受控扭曲的合成数据上得到验证。
• 模型对数据方差、数值范围和样本数量的变化保持鲁棒，表明其在不同数据条件下具备强大的泛化能力。
• 对于人类日常行为模式，网络深度超过四层后收益有限，表明该任务的模型复杂度适中即可满足需求。