[论文解读] Variational zero-inflated Gaussian processes with sparse kernels

Pashupati Hegde, Markus Heinonen+1 more|arXiv (Cornell University)|Mar 13, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用 3

一句话总结

该论文提出了一种具有稀疏核的变分零膨胀高斯过程（ZiGP），通过学习一个潜在的probit高斯过程以稀疏地将核矩阵的行和列置零，从而对数据集中的过度零值进行建模，并实现精确的零预测。该方法采用随机变分推断实现可扩展的学习，并引入了具有可变阶混合的稀疏高斯过程网络（sGPRN），在提升零膨胀数据的预测精度的同时，增强了潜在结构的可解释性。

ABSTRACT

Zero-inflated datasets, which have an excess of zero outputs, are commonly encountered in problems such as climate or rare event modelling. Conventional machine learning approaches tend to overestimate the non-zeros leading to poor performance. We propose a novel model family of zero-inflated Gaussian processes (ZiGP) for such zero-inflated datasets, produced by sparse kernels through learning a latent probit Gaussian process that can zero out kernel rows and columns whenever the signal is absent. The ZiGPs are particularly useful for making the powerful Gaussian process networks more interpretable. We introduce sparse GP networks where variable-order latent modelling is achieved through sparse mixing signals. We derive the non-trivial stochastic variational inference tractably for scalable learning of the sparse kernels in both models. The novel output-sparse approach improves both prediction of zero-inflated data and interpretability of latent mixing models.

研究动机与目标

• 解决在气候、生态学和社会科学中常见的数据集中存在过多零值观测的建模挑战。
• 克服标准高斯过程在这些数据中对零值估计不足、对非零值估计过高的局限性。
• 开发一种新颖的贝叶斯框架，结合潜在高斯过程与probit链接的切换过程，以实现精确的零预测。
• 通过在混合权重中引入基于开关过程的稀疏可变阶混合，提升高斯过程网络的可解释性。
• 通过可处理的随机变分推断实现可扩展学习，以应对ZiGP和sGPRN模型中复杂且高维的稀疏协方差结构。

提出的方法

• 提出一种零膨胀高斯过程模型，其中协方差矩阵通过一个潜在的probit高斯过程进行稀疏化，该过程决定何时将行和列置零。
• 使用平滑的非参数probit链接函数对潜在输入进行建模，以实现‘开启’和‘关闭’状态之间的连续切换。
• 推导出一种新颖的随机变分推断（SVI）框架，用于处理在probit链接稀疏性下高斯过程协方差的不可导期望，从而实现可扩展学习。
• 将SVI框架扩展至传统的高斯过程网络（GPRN），超越对角化的平均场近似，全面考虑协方差结构。
• 提出稀疏GPRN模型，其中混合权重由独立的开关过程控制，从而实现仅在相关输入位置激活的可变阶混合。
• 通过在时空网格上使用诱导点实现推断，支持函数与权重函数共享位置，并对长度尺度使用伽马先验以促进平滑性。

实验结果

研究问题

• RQ1 如何对高斯过程进行改进，以在不过度估计非零值的前提下，对存在过多零值观测的数据集进行建模？
• RQ2 能否使用潜在的probit过程以随机方式对核协方差矩阵进行稀疏化，从而在高斯过程模型中实现精确的零预测？
• RQ3 对于具有非线性、非高斯稀疏性的核结构，学习零膨胀高斯过程参数的可处理推断方法是什么？
• RQ4 在高斯过程网络中，如何通过稀疏混合提升模型可解释性并降低复杂度，从而实现潜在函数的可变阶混合？
• RQ5 能否将随机变分推断扩展至处理具有probit链接稀疏性的稀疏GPRN中的完整非对角协方差结构？

主要发现

• 零膨胀高斯过程（ZiGP）模型在降水数据集上表现显著更优，相较于标准高斯过程回归，实现了更高数量的完美零预测。
• 在降雨数据集上，ZiGP实现了最低的均方误差（MSE）和最高的F1分数，其在回归精度和类别不平衡处理方面均优于标准高斯过程模型。
• 使用5个诱导点的稀疏GPRN（sGPRN）模型，其均方根误差（RMSE）为0.728，平均绝对误差（MAE）为0.567，优于基线GPRN模型（RMSE: 0.732，MAE: 0.572），表明回归性能有所提升。
• sGPRN模型学习到了可解释的稀疏模式：混合权重中的平滑‘关闭’区域表明在某些空间区域仅使用两个潜在函数中的一个，从而降低了模型复杂度。
• 使用10个诱导点的模型也表现出一致的改进，sGPRN的RMSE（0.749）和MAE（0.573）均低于GPRN模型（RMSE: 0.774，MAE: 0.586），证实了模型的可扩展性与鲁棒性。
• 优化后的sGPRN模型可视化结果表明，支持函数（开关过程）与权重函数在空间上均保持平滑，具有明显的黑色（开启）和白色（关闭）区域，证实了潜在函数在空间位置上的自适应、选择性激活。