[论文解读] Scalable Gaussian Processes for Characterizing Multidimensional Change Surfaces

William Herlands, Andrew Gordon Wilson+5 more|arXiv (Cornell University)|Nov 13, 2015

Gaussian Processes and Bayesian Inference参考文献 18被引用 14

一句话总结

本文提出了一种可扩展的高斯过程模型，通过使用随机厨房洗碗机（RKS）特征和具有克罗内克结构推理的谱混合核，从数据中学习表达性强、非离散的多维变化表面。该模型可自动检测异质性时空变化，例如1963年麻疹疫苗在美国各地产生的渐进式、区域性影响，模型识别出中点过渡存在长达6年的变化，且某些州的变化速率最高可达两倍。

ABSTRACT

We present a scalable Gaussian process model for identifying and characterizing smooth multidimensional changepoints, and automatically learning changes in expressive covariance structure. We use Random Kitchen Sink features to flexibly define a change surface in combination with expressive spectral mixture kernels to capture the complex statistical structure. Finally, through the use of novel methods for additive non-separable kernels, we can scale the model to large datasets. We demonstrate the model on numerical and real world data, including a large spatio-temporal disease dataset where we identify previously unknown heterogeneous changes in space and time.

研究动机与目标

• 解决离散突变点模型在捕捉人类系统中多维渐进性、异质性变化方面的局限性。
• 开发一种可扩展的非参数贝叶斯框架，用于在大规模时空数据集中建模连续、表达性强的变化表面。
• 在无需事先知晓干预时间的情况下，实现对复杂协方差结构和变化表面动态的自动学习。
• 提供可解释的、基于数据的见解，揭示政策或干预措施在空间和时间上的动态影响。
• 通过克罗内克方法和基于威爾不等式的对数行列式近似，将高斯过程推理扩展至大规模数据集。

提出的方法

• 使用随机厨房洗碗机（RKS）特征非参数化表示变化表面 $ w(x) $，实现对不同状态之间非线性转换的灵活、数据驱动建模。
• 采用谱混合核捕捉潜在函数中的复杂、表达性强的协方差结构，支持对复杂的时间和空间依赖关系进行建模。
• 在核矩阵中应用克罗内克结构，实现在大规模数据集上的可扩展推理，将计算复杂度从 $ O(N^3) $ 降低至 $ O(N^{1.5}) $。
• 提出一种基于威爾不等式的新型下界，用于加法型正半定矩阵的对数行列式计算，实现对非可分加法核的高效计算。
• 对RKS权重使用逻辑归一化，确保在不同状态之间具有可解释的、有界的转换概率。
• 提出一种谱混合核的新初始化方法，通过拟合数据傅里叶变换的高斯混合模型，提升在多峰参数空间中的收敛性。

实验结果

研究问题

• RQ1 非参数高斯过程模型是否能在不知晓干预时间的情况下，检测多维数据中的渐进性、非离散变化？
• RQ2 如何高效学习并扩展表达性强、不可分的核结构，以适应大规模时空数据集？
• RQ3 该模型在现实世界干预（如疫苗接种计划）中，多大程度上能捕捉到异质性的时空动态？
• RQ4 模型能否自动学习不同区域的变化速率和中点，揭示干预效果的区域差异？
• RQ5 使用RKS和基于威爾不等式的对数行列式近似，如何提升在加法型不可分核中的可扩展性和推理效率？

主要发现

• 模型正确识别出1887年《煤矿业监管法》为突变点，其渐进式转变持续11.3年，从10%到90%的状态转换。
• 在美国内布拉斯加州麻疹数据中，模型在未提供先验知识的情况下检测到1963年疫苗引入，其中变化中点（σ(w(x)) = 0.5）在各州之间最多相差6年。
• 变化速率（从σ(w(x)) = 0.25到0.75）在各州之间存在显著差异，部分州的变化速率是其他州的两倍。
• 加利福尼亚州的变化中点最早（1969年），北达科他州最晚（1975年），表明疫苗影响存在空间异质性。
• 模型揭示麻疹疫苗在美国的影响并非均匀分布，各地区在变化时机和速度上存在显著差异，暗示潜在的社会人口或后勤因素影响。
• 使用威爾不等式和克罗内克方法，使模型在包含最多33,000个时空点的数据集上实现高效推理，验证了其可扩展性。