[论文解读] Scalable Lévy Process Priors for Spectral Kernel Learning

Phillip A. Jang, Andrew E. Loeb+2 more|arXiv (Cornell University)|Feb 2, 2018

Gaussian Processes and Bayesian Inference参考文献 9被引用 3

一句话总结

本文提出了一种基于 Lévy 过程先验的谱密度的可扩展贝叶斯核学习框架，用于建模平稳协方差函数中的不确定性。通过利用 Lévy 过程的代数结构，该方法通过结构化核插值实现了 O(n) 训练和 O(1) 预测，自动通过稀疏诱导先验推断模型阶数，并在真实世界基准上实现了最先进的长程外推性能，且不确定性估计校准良好。

ABSTRACT

Gaussian processes are rich distributions over functions, with generalization properties determined by a kernel function. When used for long-range extrapolation, predictions are particularly sensitive to the choice of kernel parameters. It is therefore critical to account for kernel uncertainty in our predictive distributions. We propose a distribution over kernels formed by modelling a spectral mixture density with a Lévy process. The resulting distribution has support for all stationary covariances--including the popular RBF, periodic, and Matérn kernels--combined with inductive biases which enable automatic and data efficient learning, long-range extrapolation, and state of the art predictive performance. The proposed model also presents an approach to spectral regularization, as the Lévy process introduces a sparsity-inducing prior over mixture components, allowing automatic selection over model order and pruning of extraneous components. We exploit the algebraic structure of the proposed process for $\mathcal{O}(n)$ training and $\mathcal{O}(1)$ predictions. We perform extrapolations having reasonable uncertainty estimates on several benchmarks, show that the proposed model can recover flexible ground truth covariances and that it is robust to errors in initialization.

研究动机与目标

• 为解决谱混合核学习中缺乏不确定性量化的问题，特别是针对长程外推任务。
• 通过实现对模型阶数的自动推断，消除谱核中混合成分数量的手动调参。
• 开发一种可扩展的、完全贝叶斯的核学习框架，支持在大规模数据集上的高效训练和预测。
• 通过 Lévy 过程引入稀疏诱导先验，以修剪噪声或冗余的核成分。
• 提供一种概念上可解释的、分层的函数空间视角的核学习，实现有原则的不确定性传播。

提出的方法

• 将平稳核的谱密度建模为 Lévy 过程，从而在谱混合成分上实现非参数先验。
• 使用尺度-位置混合的高斯或拉普拉斯分布作为基函数，以确保核表达式的闭式解，并支持所有平稳协方差函数。
• 采用可逆跳跃马尔可夫链蒙特卡洛（RJ-MCMC）联合推断成分数量及其参数，实现跨维度采样。
• 集成结构化核插值（SKI），实现 O(n) 训练和 O(1) 预测复杂度，从而可扩展至大规模数据集。
• 将 Lévy 过程先验作为稀疏诱导正则化器，促进对多余成分的自动修剪。
• 对核函数进行贝叶斯模型平均，得到非高斯、重尾的预测分布，提升不确定性校准效果。

实验结果

研究问题

• RQ1 在谱密度上使用 Lévy 过程先验是否能够实现谱核学习中混合成分数量的自动推断？
• RQ2 通过分层贝叶斯模型引入核不确定性，相较于固定核方法，能否显著提升长程外推性能？
• RQ3 Lévy 过程先验在多大程度上充当谱正则化器，促进稀疏性并减少对噪声的过拟合？
• RQ4 所提出的方法是否能在保持预测准确性和不确定性校准的前提下扩展至大规模数据集？
• RQ5 该方法对初始化是否具有鲁棒性？在实际应用中是否优于基线谱混合模型？

主要发现

• 该模型在长程外推任务上实现了最先进的预测性能，其预测区间完全覆盖了保留的测试数据——而固定核的谱混合模型往往过度自信，导致遗漏目标值。
• Lévy 过程先验在混合成分中诱导了稀疏性，无需手动调参即可自动识别并修剪多余成分。
• 在包含 100,000 个点的自然声音纹理数据集上，该方法在标准 CPU 上训练时间不足一小时，通过结构化核插值实现了 O(n) 可扩展性。
• 核函数的后验样本集中于经验协方差附近，表明模型有效学习并收敛至真实潜在结构。
• 该方法对初始化具有鲁棒性，在不同起始点下均表现出一致性能，而谱混合模型对初始成分参数高度敏感。
• 对核函数的贝叶斯模型平均产生了重尾的预测分布，真实反映了外推区域（尤其是数据稀疏区域）的不确定性。