[论文解读] Predictive State Recurrent Neural Networks

Carlton Downey, Ahmed Hefny+3 more|arXiv (Cornell University)|May 25, 2017

Model Reduction and Neural Networks参考文献 24被引用 15

一句话总结

该论文提出预测状态循环神经网络（PSRNNs），一种混合模型，将预测状态表示（PSRs）的概率严谨性与循环神经网络（RNNs）的表达能力相结合。通过基于贝叶斯滤波更新推导出的双线性函数建模状态转移，并采用两阶段回归（2SR）进行初始化，PSRNNs 在四个数据集上均优于长短期记忆网络（LSTM）和门控循环单元（GRU），在保持高性能的同时，通过张量分解实现高效因子分解。

ABSTRACT

We present a new model, Predictive State Recurrent Neural Networks (PSRNNs), for filtering and prediction in dynamical systems. PSRNNs draw on insights from both Recurrent Neural Networks (RNNs) and Predictive State Representations (PSRs), and inherit advantages from both types of models. Like many successful RNN architectures, PSRNNs use (potentially deeply composed) bilinear transfer functions to combine information from multiple sources. We show that such bilinear functions arise naturally from state updates in Bayes filters like PSRs, in which observations can be viewed as gating belief states. We also show that PSRNNs can be learned effectively by combining Backpropogation Through Time (BPTT) with an initialization derived from a statistically consistent learning algorithm for PSRs called two-stage regression (2SR). Finally, we show that PSRNNs can be factorized using tensor decomposition, reducing model size and suggesting interesting connections to existing multiplicative architectures such as LSTMs. We applied PSRNNs to 4 datasets, and showed that we outperform several popular alternative approaches to modeling dynamical systems in all cases.

研究动机与目标

• 为解决 RNN 在训练稳定性方面和缺乏统计一致性的问题，通过引入合乎原则的概率初始化方法。
• 通过 RNN 式架构实现丰富且非线性的表示，以克服传统贝叶斯滤波的功能简单性。
• 开发一种模型，兼具 PSRs 的统计一致性和深度 RNN 的表征能力。
• 通过 PSRNN 的张量分解实现高效的模型压缩与架构洞察。
• 证明 PSRNN 在多样化序列建模基准上的性能优于现有模型。

提出的方法

• PSRNN 使用三阶张量建模双线性状态转移，通过张量积结合隐藏状态与观测值，随后进行除法归一化。
• 模型通过时间反向传播（BPTT）进行训练，初始化方法源自两阶段回归（2SR），一种用于 PSRs 的矩方法算法。
• PSRNN 中的双线性结构自然源于 PSRs 和贝叶斯滤波中观测驱动的信念状态更新的门控解释。
• 通过 CP 张量分解构建因子化 PSRNN，降低模型规模并实现灵活的参数控制。
• 该架构可解释为一种门控机制，并与核贝叶斯规则及 LSTM 中的乘法单元存在形式上的联系。
• 该模型在离散（Penn Treebank）与连续（Swimmer, Mocap, Handwriting）序列数据集上均表现出一致的性能提升。

实验结果

研究问题

• RQ1 结合 PSRs 的统计一致性与 RNN 的表征能力的混合模型，是否能在序列建模任务中实现更优性能？
• RQ2 使用统计一致的矩方法算法（2SR）对类似 RNN 的架构进行初始化，是否能显著提升训练稳定性和最终性能？
• RQ3 PSRNN 中的双线性结构是否可通过张量分解实现因子化，从而在保持性能的同时减小模型规模？
• RQ4 在预测准确率和跨多样化数据集的泛化能力方面，PSRNN 与 LSTMs 和 GRUs 等成熟架构相比表现如何？
• RQ5 初始化对 PSRNN 优化景观及最终模型行为有何影响？

主要发现

• 在参数量更少的情况下，秩为 40 的因子化 PSRNN 在 Penn Treebank（PTB）数据集上的表现优于 LSTM 与 GRU。
• 当参数量相近时，普通 PSRNN 的表现优于高秩因子化 PSRNN，表明线性参数化带来了更简单的优化曲面。
• 在 PSRNN 中增加第二层显著提升了 PTB 上的性能，证明了网络深度的有益作用。
• 在 Swimmer、Mocap 和 Handwriting 数据集上，PSRNN 在均方误差（MSE）与预测准确率方面持续优于 KF、RNN、GRU 和 LSTM。
• 2SR 初始化至关重要：随机初始化会导致 BPTT 失败，而 2SR 能够实现有效训练并保持有意义的初始动态。
• 即使低秩因子化 PSRNN（如秩 40）也表现出强大性能，表明其在参数使用上的鲁棒性与高效性。