[论文解读] Recurrent Gaussian Processes

César Mattos, Zhenwen Dai+4 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 27被引用 26

一句话总结

本文提出了循环高斯过程（RGP），一种基于高斯过程先验对转移函数和观测函数进行建模的贝叶斯非参数框架。该研究提出了循环变分贝叶斯（REVARB）推理框架，以实现具有潜在自回归状态的高效、不确定性感知训练，从而在小样本数据下实现了非线性系统识别和人体运动建模的最先进性能。

ABSTRACT

We define Recurrent Gaussian Processes (RGP) models, a general family of Bayesian nonparametric models with recurrent GP priors which are able to learn dynamical patterns from sequential data. Similar to Recurrent Neural Networks (RNNs), RGPs can have different formulations for their internal states, distinct inference methods and be extended with deep structures. In such context, we propose a novel deep RGP model whose autoregressive states are latent, thereby performing representation and dynamical learning simultaneously. To fully exploit the Bayesian nature of the RGP model we develop the Recurrent Variational Bayes (REVARB) framework, which enables efficient inference and strong regularization through coherent propagation of uncertainty across the RGP layers and states. We also introduce a RGP extension where variational parameters are greatly reduced by being reparametrized through RNN-based sequential recognition models. We apply our model to the tasks of nonlinear system identification and human motion modeling. The promising obtained results indicate that our RGP model maintains its highly flexibility while being able to avoid overfitting and being applicable even when larger datasets are not available.

研究动机与目标

• 开发一种用于建模序列数据中复杂时间动态的贝叶斯非参数框架。
• 解决标准GP-NARX模型在隐藏状态中传播不确定性的局限性。
• 通过变分推理实现动态表征和潜在状态转移的端到端学习。
• 通过基于RNN的序列识别模型降低模型复杂度并提高优化效率。
• 在小样本数据下验证该方法在非线性系统识别和人体运动建模中的有效性。

提出的方法

• 提出一种新型深度RGP模型，采用潜在自回归状态，其中隐藏状态并非直接观测，而是通过高斯过程先验推断。
• 开发循环变分贝叶斯（REVARB）框架，以实现RGP层和时间步之间高效、一致的不确定性传播。
• 采用均值场变分近似与结构化推理，处理循环高斯过程模型中难以计算的后验分布。
• 引入基于RNN的序列识别模型，用于参数化变分后验分布，从而减少变分参数的数量。
• 将模型应用于非线性系统识别和人体运动生成任务，使用控制信号进行建模。
• 采用诱导点和稀疏高斯过程近似，使方法可扩展至更长序列。

实验结果

研究问题

• RQ1 具有循环高斯过程先验的贝叶斯非参数模型能否有效捕捉序列数据中的复杂时间动态？
• RQ2 在深度循环高斯过程结构中，不确定性如何实现时间上的一致传播？
• RQ3 与标准GP-NARX模型相比，潜在自回归结构是否能提升泛化能力和表征学习性能？
• RQ4 REVARB框架是否能实现RGP模型的高效训练和强正则化？
• RQ5 在人体运动生成任务中，该模型能否对未见过的控制信号实现良好泛化？

主要发现

• REVARB模型在人体运动预测任务中达到0.8600的测试RMSE，优于GP-NARX（0.8987）和MLP-NARX（1.2141）。
• 潜在自回归结构使得仅用一个模型即可训练全部57个人体运动输出，而GP-NARX需为每个输出单独训练模型。
• 该模型成功从简单的控制信号（如速度）生成逼真的运动序列，包括步行与跑步之间的过渡。
• REVARB框架有效处理了时间上的不确定性传播，即使在数据有限的情况下也能缓解模型过度自信问题。
• 基于RNN的识别模型显著减少了变分参数数量，提升了优化效率。
• 该方法在小样本数据上表现出强大的泛化能力和鲁棒性，证实其在低数据场景下的适用性。