[论文解读] Time-series modeling with undecimated fully convolutional neural networks

Roni Mittelman|arXiv (Cornell University)|Aug 3, 2015

Music and Audio Processing参考文献 21被引用 46

一句话总结

本文提出了一种非抽取全卷积神经网络（UFCNN），这是一种因果的全卷积架构，通过用滤波器上采样替代最大池化操作，保持了输入与输出序列的分辨率，其灵感来源于非抽取小波变换。UFCNN 在时间序列任务（如目标跟踪、音乐建模和高频交易）中优于 RNN 和 LSTM 模型，在避免梯度消失/爆炸问题的同时实现了高效训练，其收益达到了维特比算法最优上界的一半。

ABSTRACT

We present a new convolutional neural network-based time-series model. Typical convolutional neural network (CNN) architectures rely on the use of max-pooling operators in between layers, which leads to reduced resolution at the top layers. Instead, in this work we consider a fully convolutional network (FCN) architecture that uses causal filtering operations, and allows for the rate of the output signal to be the same as that of the input signal. We furthermore propose an undecimated version of the FCN, which we refer to as the undecimated fully convolutional neural network (UFCNN), and is motivated by the undecimated wavelet transform. Our experimental results verify that using the undecimated version of the FCN is necessary in order to allow for effective time-series modeling. The UFCNN has several advantages compared to other time-series models such as the recurrent neural network (RNN) and long short-term memory (LSTM), since it does not suffer from either the vanishing or exploding gradients problems, and is therefore easier to train. Convolution operations can also be implemented more efficiently compared to the recursion that is involved in RNN-based models. We evaluate the performance of our model in a synthetic target tracking task using bearing only measurements generated from a state-space model, a probabilistic modeling of polyphonic music sequences problem, and a high frequency trading task using a time-series of ask/bid quotes and their corresponding volumes. Our experimental results using synthetic and real datasets verify the significant advantages of the UFCNN compared to the RNN and LSTM baselines.

研究动机与目标

• 解决标准 CNN 在时间序列建模中的局限性，即最大池化会降低分辨率并破坏输入与输出序列之间的时序对齐。
• 开发一种全卷积架构，保持输入输出的时序分辨率，从而实现端到端的序列到序列建模。
• 通过采用卷积、非循环架构，克服 RNN 和 LSTM 中常见的训练不稳定性问题，如梯度消失和梯度爆炸。
• 在多样化的时序任务上评估 UFCNN，包括仅方位角目标跟踪、多声部音乐建模和高频交易，以证明其泛化能力和性能优越性。

提出的方法

• UFCNN 使用因果卷积层，确保时间 t 的预测仅依赖于过去和当前的输入，从而保持因果性。
• 其架构在每一分辨率层级上，用滤波器上采样替代标准 FCN 中的最大池化和转置卷积操作，灵感来源于非抽取小波变换。
• 通过避免下采样操作，使所有层保持相同的时序分辨率，从而确保输出序列与输入序列长度完全一致。
• 使用基于任务定制的损失函数，通过反向传播进行训练，包括回归任务的均方误差和分类任务的交叉熵。
• 采用四个分辨率层级，每层滤波器长度为 5，每层包含 150–200 个滤波器，通过分层特征学习捕捉长短期依赖关系。
• 模型在合成数据上进行目标跟踪评估，在 MAPS 数据集上进行多声部音乐建模评估，在包含买卖报价和成交量的高频交易数据集上进行评估。

实验结果

研究问题

• RQ1 非抽取全卷积网络是否能在保持时间分辨率的同时，有效建模时间序列数据？
• RQ2 与标准 FCN 和基于 RNN 的模型相比，用滤波器上采样替代最大池化是否能提升时间序列建模的性能？
• RQ3 UFCNN 是否能在序列决策任务（如高频交易）中实现接近最优维特比算法的性能？
• RQ4 UFCNN 是否能避免 RNN 和 LSTM 中常见的梯度消失和梯度爆炸问题，从而实现更稳定高效的训练？

主要发现

• 在高频交易任务中，UFCNN 实现了每时间步平均 0.13 的利润，达到维特比算法提供的不可达最优上界的 50%。
• UFCNN 显著优于 RNN 基线模型（每时间步仅实现 0.024 利润），证明其在序列决策学习方面具有更强的学习能力。
• 在交易任务中，UFCNN 的分类准确率达到 0.62，而 RNN 仅为 0.38，表明其政策学习能力更优。
• LSTM 模型在训练过程中持续发散，凸显了循环模型的训练不稳定性，也进一步凸显了 UFCNN 在训练可靠性方面的优势。
• 在多声部音乐建模任务中，UFCNN 展现出优异性能，表明其具备建模序列数据中复杂时序依赖关系的能力。
• UFCNN 在所有任务中均取得高性能，同时避免了 RNN 和 LSTM 中固有的梯度问题，证实其在稳定优化下适用于长序列建模。