[论文解读] Particle Filter Recurrent Neural Networks

Xiao Ma, Péter Karkus+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 35被引用 5

一句话总结

本文提出粒子滤波循环神经网络（PF-RNNs），一种新型RNN架构，通过维护带权重的潜在状态分布（即粒子）来建模不确定性，从而在序列数据中实现更优的信念近似。PF-RNNs采用完全可微分的粒子滤波算法，支持端到端训练，在文本分类、股票预测和机器人定位等多样化序列预测任务中，性能优于标准RNN、门控变体及贝叶斯RNN。

ABSTRACT

Recurrent neural networks (RNNs) have been extraordinarily successful for prediction with sequential data. To tackle highly variable and noisy real-world data, we introduce Particle Filter Recurrent Neural Networks (PF-RNNs), a new RNN family that explicitly models uncertainty in its internal structure: while an RNN relies on a long, deterministic latent state vector, a PF-RNN maintains a latent state distribution, approximated as a set of particles. For effective learning, we provide a fully differentiable particle filter algorithm that updates the PF-RNN latent state distribution according to the Bayes rule. Experiments demonstrate that the proposed PF-RNNs outperform the corresponding standard gated RNNs on a synthetic robot localization dataset and 10 real-world sequence prediction datasets for text classification, stock price prediction, etc.

研究动机与目标

• 解决标准RNN在建模高度可变且多模态序列数据时的局限性。
• 在不增加潜在向量维度的前提下，改进循环模型中的信念近似。
• 将粒子滤波的非参数灵活性与RNN的表征能力相结合。
• 实现基于粒子的信念追踪的端到端可微分训练，用于判别性序列预测。
• 在真实世界的序列预测基准上，超越标准RNN、贝叶斯RNN及模型集成。

提出的方法

• PF-RNNs将潜在状态表示为一组带权重的粒子，而非单一确定性向量。
• 模型使用完全可微分的粒子滤波算法，根据贝叶斯规则更新粒子权重与位置。
• 该方法被应用于LSTM与GRU架构，形成可直接替换的PF-LSTM与PF-GRU。
• 训练过程结合预测损失与证据下界（ELBO）损失，以同时优化准确率与信念质量。
• 采用软重采样（soft-resampling）防止粒子退化，维持粒子集合的多样性。
• 使用批量归一化与ReLU激活函数，提升训练稳定性和性能。

实验结果

研究问题

• RQ1 基于粒子的潜在状态表示能否提升RNN在序列数据中的信念近似能力？
• RQ2 可微分粒子滤波是否能有效支持RNN在判别性序列预测中的端到端训练？
• RQ3 PF-RNN在多样化序列预测任务中的表现与标准RNN、贝叶斯RNN及模型集成相比如何？
• RQ4 粒子数量、重采样策略及网络架构组件对PF-RNN性能有何影响？
• RQ5 PF-RNN能否在数据复杂度与模态各异的任务间实现良好泛化？

主要发现

• PF-RNN在10个真实世界的序列预测数据集（包括文本分类与股价预测）上优于标准LSTM与GRU模型。
• 在合成机器人定位数据集上，PF-RNN的误差显著低于标准RNN，表明其在不确定性处理方面表现更优。
• PF-LSTM在MR数据集上使用30个粒子时，平均预测准确率达93.28%，优于标准LSTM与贝叶斯RNN。
• 消融实验表明，增加粒子数量可提升性能，P30在所有数据集上均表现最佳。
• 软重采样及预测损失与ELBO损失的联合使用带来持续的性能提升，而ReLU配合批量归一化则增强了训练稳定性。
• 在20项测试中的16项，PF-RNN超越了RNN与贝叶斯RNN的集成模型，表明其信念表征与泛化能力更优。