[论文解读] The Statistical Recurrent Unit

Junier B. Oliva, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications参考文献 23被引用 16

一句话总结

该论文提出了统计循环单元（SRU），一种简单、无门控的循环神经网络，通过使用输入统计量的移动平均而非复杂的门控机制来捕捉长期依赖关系。尽管其结构简单且参数量与LSTM和GRU相当，SRU在多个序列建模任务中表现优于两者，尤其是在具有长程依赖的任务中，这得益于其通过多尺度统计量的线性组合高效表示时间上下文的能力。

ABSTRACT

Sophisticated gated recurrent neural network architectures like LSTMs and GRUs have been shown to be highly effective in a myriad of applications. We develop an un-gated unit, the statistical recurrent unit (SRU), that is able to learn long term dependencies in data by only keeping moving averages of statistics. The SRU's architecture is simple, un-gated, and contains a comparable number of parameters to LSTMs; yet, SRUs perform favorably to more sophisticated LSTM and GRU alternatives, often outperforming one or both in various tasks. We show the efficacy of SRUs as compared to LSTMs and GRUs in an unbiased manner by optimizing respective architectures' hyperparameters in a Bayesian optimization scheme for both synthetic and real-world tasks.

研究动机与目标

• 开发一种更简单、更高效的循环单元，以有效建模序列数据中的长期依赖关系。
• 探究总结统计量——特别是移动平均——是否能够替代循环网络中的复杂门控机制。
• 在合成与真实世界序列任务中，将SRU的性能与LSTM和GRU等成熟门控架构进行比较。
• 研究多尺度统计量和循环统计量在实现鲁棒序列建模中的作用。
• 证明最小化、无门控的架构能够达到甚至超越更复杂门控单元的性能。

提出的方法

• SRU通过一个依赖于当前输入和前一隐藏状态的函数γ计算循环统计量，形成递归更新：γ_i = γ(x_i, γ_{i-1})。
• 它在多个时间尺度上维护输入统计量的指数移动平均，使模型能够访问不同时间尺度的上下文视角。
• 隐藏状态通过这些多尺度移动平均的线性组合计算，从而实现对过去上下文的高效且富有表现力的表示。
• 模型使用ReLU激活函数和指数移动平均，以缓解循环网络中常见的梯度消失问题。
• SRU的架构在时间上共享权重，参数量与LSTM和GRU相当，保持了较低的参数复杂度。
• 输出通过将最终隐藏状态投影到线性层生成，训练采用时间反向传播（backpropagation through time）进行。

实验结果

研究问题

• RQ1 一个简单、无门控的循环单元是否能在建模长期依赖关系方面优于LSTM和GRU等门控架构？
• RQ2 对总结统计量的移动平均在捕捉不同时间尺度上的时间上下文方面有多有效？
• RQ3 与静态或独立同分布（i.i.d.）的总结统计量相比，使用依赖于先前统计量的循环统计量是否能提升序列建模性能？
• RQ4 当通过贝叶斯优化调整超参数后，SRU与LSTM和GRU的性能相比如何？
• RQ5 在哪些类型的序列任务中，SRU的多尺度统计表示能提供显著优势？

主要发现

• 在具有长程依赖的合成数据上，SRU的测试误差为0.0026，显著低于GRU（0.0123）和LSTM（0.0078）。
• 在电子音乐MFCC预测任务中，SRU的测试均方误差（MSE）为1.176，优于GRU（2.080），几乎与LSTM（1.183）持平。
• 在气候数据预测任务中，SRU的测试MSE为0.465，与LSTM的0.466非常接近，优于GRU的0.487。
• 在NBA球员追踪数据任务中，SRU的测试MSE为34.505，远优于GRU（329.921）和LSTM（296.908）。
• SRU在多种序列类型中表现稳健，尤其在涉及长程依赖的任务中持续取得显著提升。
• 消融实验证实，多尺度统计量和循环统计量均为关键组成部分，两者均对模型整体性能有显著贡献。