[论文解读] Recurrent Attentive Neural Process for Sequential Data

Shenghao Qin, Jiacheng Zhu+3 more|arXiv (Cornell University)|Oct 17, 2019

Neural Networks and Applications参考文献 33被引用 23

一句话总结

该论文提出了一种新型模型——循环注意力神经过程（RANP），通过将注意力神经过程（ANP）与循环神经网络（RNN）相结合，联合捕捉序列数据中的时间顺序和不确定性。通过融合ANP的不确定性感知与元学习能力，以及RNN的序列归纳偏置，RANP在1D回归和自动驾驶轨迹预测任务中均达到最先进性能，其准确性和预测不确定性建模能力优于NPs、ANPs和LSTMs。

ABSTRACT

Neural processes (NPs) learn stochastic processes and predict the distribution of target output adaptively conditioned on a context set of observed input-output pairs. Furthermore, Attentive Neural Process (ANP) improved the prediction accuracy of NPs by incorporating attention mechanism among contexts and targets. In a number of real-world applications such as robotics, finance, speech, and biology, it is critical to learn the temporal order and recurrent structure from sequential data. However, the capability of NPs capturing these properties is limited due to its permutation invariance instinct. In this paper, we proposed the Recurrent Attentive Neural Process (RANP), or alternatively, Attentive Neural Process-RecurrentNeural Network(ANP-RNN), in which the ANP is incorporated into a recurrent neural network. The proposed model encapsulates both the inductive biases of recurrent neural networks and also the strength of NPs for modelling uncertainty. We demonstrate that RANP can effectively model sequential data and outperforms NPs and LSTMs remarkably in a 1D regression toy example as well as autonomous-driving applications.

研究动机与目标

• 为解决神经过程（NPs）因固有的排列不变性而难以捕捉时间顺序和循环结构的问题。
• 克服标准LSTM在序列任务中无法有效传播和建模时间维度上不确定性的问题。
• 开发一个统一框架，结合NPs的不确定性感知与元学习能力，以及RNN的序列建模优势。
• 实现在自动驾驶等真实应用场景中，仅用有限观测即可有效学习连续、有序的动力学行为。
• 展示在复杂序列数据建模中，兼具高精度预测与校准良好不确定性估计的优越性能。

提出的方法

• RANP将注意力神经过程（ANP）集成于循环神经网络架构中，形成ANP-RNN模型。
• RNN逐步处理序列输入，通过隐藏状态编码时间上下文信息。
• 在每个时间步，RNN的隐藏状态用于条件化ANP的全局潜在变量$ z $，实现不确定性感知的预测。
• ANP组件使用注意力机制计算上下文-目标交互，实现对相关上下文点的动态加权。
• 模型采用负对数似然（NLL）损失进行训练，支持对目标输出均值和方差的联合预测。
• 该架构通过利用RNN和ANPs的归纳偏置，支持元学习，可泛化至少样本新序列。

实验结果

研究问题

• RQ1 神经过程模型能否有效捕捉时间序列数据中的时间顺序与序列依赖性？
• RQ2 在序列预测任务中，如何有效实现不确定性在时间维度上的传播与建模？
• RQ3 将RNN的归纳偏置与ANPs的不确定性感知能力相结合，是否能显著提升性能，超越独立的NPs、ANPs或LSTMs？
• RQ4 所提出的模型能否在上下文数据有限的少样本序列学习场景中实现良好泛化？
• RQ5 在循环框架中集成注意力机制，如何提升预测准确性与不确定性校准能力？

主要发现

• 在1D函数回归任务中，RANP通过同时捕捉局部上下文行为与全局函数形状，实现了校准良好的不确定性，优于NP、ANP和LSTM。
• 在NGSIM自动驾驶数据集上，RANP（ANP-LSTM变体）在横向轨迹预测中实现了0.1673米的平均绝对误差（MAE），显著低于NP（92,778米）和ANP（7,024.45米）。
• RANP的负对数似然（NLL）为-0.0229，表明其预测分布校准良好，而NP和ANP的NLL值极高（分别为203,882和353,693）。
• LSTM仅输出单一均值预测，未建模方差，导致预测性能差（MSE为1.4500），且无法捕捉不确定性。
• 定性分析显示，RANP预测轨迹与真实轨迹高度吻合，而NP和ANP因不确定性建模不佳，产生过度自信或不稳定的预测。
• 该模型成功捕捉了变道场景中复杂的车辆交互动力学，展现出在真实世界序列决策任务中的鲁棒性。