[论文解读] Orthogonally Decoupled Variational Gaussian Processes

Hugh Salimbeni, Ching-An Cheng+2 more|arXiv (Cornell University)|Sep 24, 2018

Gaussian Processes and Bayesian Inference被引用 23

一句话总结

本文提出正交解耦变分高斯过程（Orthogonally Decoupled Variational Gaussian Processes），一种新颖的RKHS参数化方法，将均值函数分解为耦合部分与正交残差部分，实现高效的自然梯度优化。该方法通过利用信息几何，在保持均值参数线性复杂度的同时，相较于标准耦合方法和先验解耦方法，实现了更快的收敛速度和更优的性能表现。

ABSTRACT

Gaussian processes (GPs) provide a powerful non-parametric framework for reasoning over functions. Despite appealing theory, its superlinear computational and memory complexities have presented a long-standing challenge. State-of-the-art sparse variational inference methods trade modeling accuracy against complexity. However, the complexities of these methods still scale superlinearly in the number of basis functions, implying that that sparse GP methods are able to learn from large datasets only when a small model is used. Recently, a decoupled approach was proposed that removes the unnecessary coupling between the complexities of modeling the mean and the covariance functions of a GP. It achieves a linear complexity in the number of mean parameters, so an expressive posterior mean function can be modeled. While promising, this approach suffers from optimization difficulties due to ill-conditioning and non-convexity. In this work, we propose an alternative decoupled parametrization. It adopts an orthogonal basis in the mean function to model the residues that cannot be learned by the standard coupled approach. Therefore, our method extends, rather than replaces, the coupled approach to achieve strictly better performance. This construction admits a straightforward natural gradient update rule, so the structure of the information manifold that is lost during decoupling can be leveraged to speed up learning. Empirically, our algorithm demonstrates significantly faster convergence in multiple experiments.

研究动机与目标

• 解决现有解耦变分高斯过程方法因非凸性与病态条件导致的优化困难与次优性能问题。
• 在保持稀疏变分推理优势的同时，实现均值参数线性复杂度下的表达性均值函数建模。
• 设计一种参数化方法，通过利用信息流形结构，实现高效的自然梯度更新。
• 证明所提方法在固定计算预算下，优于标准耦合方法与先验解耦方法。
• 证明均值函数的正交分解能够捕捉标准耦合方法所遗漏的函数分量。

提出的方法

• 提出一种新的RKHS参数化方法，其中均值函数被分解为与协方差共享基的耦合部分和正交残差部分。
• 使用正交基来建模标准耦合方法无法捕捉的函数分量，确保表示能力不损失。
• 推导出一种自然梯度更新规则，该规则将耦合部分与残差部分的更新解耦，从而实现更快收敛。
• 利用信息流形结构保持几何效率，避免先验解耦方法存在的病态条件问题。
• 采用混合优化策略，对耦合部分使用自然梯度下降，对残差部分使用函数梯度下降。
• 在均值参数数量上保持线性计算复杂度，从而实现对表达性后验均值函数的可扩展建模。

实验结果

研究问题

• RQ1 通过在RKHS中引入正交参数化，解耦高斯过程方法能否实现更快的收敛速度与更优的性能表现？
• RQ2 所提方法在预测准确率与优化稳定性方面是否优于标准耦合方法与先验解耦方法？
• RQ3 能否通过正交分解，高效地将自然梯度更新应用于解耦高斯过程框架？
• RQ4 正交残差分量是否能捕捉标准耦合方法所遗漏的函数分量？
• RQ5 与现有方法相比，所提方法在固定计算预算下是否具备可扩展性与有效性？

主要发现

• 所提正交解耦高斯过程方法在多个回归与分类基准测试中，收敛速度显著快于原始解耦方法。
• 在kin40k数据集上，该方法实现测试RMSE为0.1740，优于耦合方法（0.1887）与原始解耦方法（0.1885）。
• 在分类任务中，OrthNat变体（使用正交基的自然梯度）在测试集上实现平均准确率89.0%，优于次优方法（平均排名89.9%）与原始解耦方法。
• 该方法在对数似然性能上表现更优，平均测试对数似然为-0.5660，显著优于耦合方法（-0.4653）与原始解耦方法。
• 正交残差分量能够捕捉标准耦合方法所遗漏的函数分量，从而在不增加计算复杂度的前提下提升建模能力。
• 自然梯度更新规则实现更快收敛，并避免了先验解耦方法中常见的病态条件问题，从而带来更稳定、更高效的优化过程。