[论文解读] Real-Time Regression with Dividing Local Gaussian Processes

Armin Lederer, Alejandro Jose Ordóñez Conejo+4 more|arXiv (Cornell University)|Jun 16, 2020

Gaussian Processes and Bayesian Inference参考文献 45被引用 5

一句话总结

本文提出了一种新型的实时回归方法——分治局部高斯过程（DLGP），该方法通过数据驱动的迭代过程将输入空间划分为局部区域，实现了预测和更新时间的次线性计算复杂度。DLGP在大规模真实世界数据集上实现了最先进水平的准确率和可靠的预测分布，相较于现有方法在速度和不确定性估计方面均表现更优。

ABSTRACT

The increased demand for online prediction and the growing availability of large data sets drives the need for computationally efficient models. While exact Gaussian process regression shows various favorable theoretical properties (uncertainty estimate, unlimited expressive power), the poor scaling with respect to the training set size prohibits its application in big data regimes in real-time. Therefore, this paper proposes dividing local Gaussian processes, which are a novel, computationally efficient modeling approach based on Gaussian process regression. Due to an iterative, data-driven division of the input space, they achieve a sublinear computational complexity in the total number of training points in practice, while providing excellent predictive distributions. A numerical evaluation on real-world data sets shows their advantages over other state-of-the-art methods in terms of accuracy as well as prediction and update speed.

研究动机与目标

• 为解决机器人和控制系统等高更新频率应用场景中的实时回归挑战。
• 克服由于O(N^3)复杂度导致在大规模数据集上精确高斯过程回归计算不可行的问题。
• 开发一种方法，在实现快速在线更新的同时，保持高预测准确率和可靠的不确定性量化。
• 实现预测和更新时间与训练集规模呈对数或次线性增长，从而支持实时部署。

提出的方法

• 该方法通过训练期间迭代式、数据驱动的划分过程，将输入空间划分为局部区域。
• 在对应于每个区域的互不相交的训练数据子集上独立训练局部高斯过程模型。
• 通过基于测试点距离的加权平均方法，组合多个局部模型的预测结果。
• 局部模型的数量及其大小由一个超参数¯N控制，该参数限制了每个局部模型的最大训练点数。
• 该方法使用动态重叠比θ，使相邻区域能够对预测结果产生贡献，从而提高鲁棒性。
• 通过仅重新训练受新数据点影响的局部模型，实现增量式模型更新，确保低更新复杂度。

实验结果

研究问题

• RQ1 基于局部GP的方法是否能在保持大规模数据集高准确率的同时，实现预测和更新时间的次线性计算复杂度？
• RQ2 在误差和不确定性校准方面，DLGP与精确GP及其他最先进近似方法相比，其预测性能如何？
• RQ3 与固定或随机划分相比，输入空间的数据驱动划分在多大程度上提升了泛化能力和不确定性估计？
• RQ4 在高更新频率的实时学习场景中，该方法如何随训练集规模的增加而扩展？
• RQ5 当训练点数量超过精确GP回归的计算极限时，DLGP是否仍能保持高性能？

主要发现

• DLGP的预测和更新时间随训练集规模N的增长呈对数增长，优于具有线性或常数复杂度的方法。
• 在KUKA烧瓶推压数据集上，DLGP100在所有关节中均实现了最低的nMSE（0.04）和NLL（-2.8），甚至在某些情况下优于精确GP。
• DLGP的预测分布比其他GP近似方法更可靠，其NLL值更接近精确GP，甚至在关节6和7中低于精确GP。
• DLGP的更新时间快于最先进方法如I-SSGP和DTC，且具有对数增长特性，适用于实时应用。
• 即使在¯N = 100的较小值下，该方法仍保持高准确率，且将¯N增加至500并未显著提升性能，表明对超参数选择具有鲁棒性。
• DLGP是唯一一种能够在不出现过早收敛的情况下从全部训练数据中学习的方法，而I-SSGP等其他方法则因表达能力有限而受到影响。