[论文解读] Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes

Hyunjik Kim, Yee Whye Teh|arXiv (Cornell University)|Jun 8, 2017

Gaussian Processes and Bayesian Inference参考文献 31被引用 18

一句话总结

本文提出可扩展核组合（SKC），作为自动统计师的可扩展扩展，通过引入一种廉价且紧致的高斯过程（GP）边缘似然上界，实现了对大规模数据集的可解释GP模型发现。通过将真实边缘似然夹在该上界与变分下界之间，SKC实现了高效、半贪婪的核搜索，成功识别出包含数万点数据中多尺度周期性与趋势等复杂结构——将复杂度从O(N³)降低至O(N²)。

ABSTRACT

Automating statistical modelling is a challenging problem in artificial intelligence. The Automatic Statistician takes a first step in this direction, by employing a kernel search algorithm with Gaussian Processes (GP) to provide interpretable statistical models for regression problems. However this does not scale due to its $O(N^3)$ running time for the model selection. We propose Scalable Kernel Composition (SKC), a scalable kernel search algorithm that extends the Automatic Statistician to bigger data sets. In doing so, we derive a cheap upper bound on the GP marginal likelihood that sandwiches the marginal likelihood with the variational lower bound . We show that the upper bound is significantly tighter than the lower bound and thus useful for model selection.

研究动机与目标

• 为解决自动统计师的可扩展性限制，其因O(N³)的GP推理复杂度而受限于小规模数据集。
• 通过将组合核搜索（CKS）扩展至更大数据，实现对中型和大型数据集的自动化、可解释性统计建模。
• 开发一种可扩展的模型选择框架，在保持可解释性的同时发现多周期趋势和局部变化等复杂结构。
• 提供一种可靠且紧致的GP边缘似然上界，以提升仅使用变分下界时的模型选择性能。

提出的方法

• 提出一种新颖、计算成本低廉的GP边缘似然上界，能紧密夹住真实边缘似然，位于其与变分下界之间。
• 在半贪婪核搜索策略中使用该上界，以引导组合核空间的探索，提升对局部最优的鲁棒性。
• 将该上界用作模型选择的代理，替代精确边缘似然，实现在无需完整GP推理情况下的可扩展核组合。
• 利用带诱导点的变分推理近似GP边缘似然，将计算成本从O(N³)降低至O(N²)。
• 在下界区间重叠的核之间使用上界作为决胜标准，提升模型选择的稳定性和准确性。
• 在时间序列数据上应用该方法，使用基础核（SE、LIN、PER）组合出可解释、结构感知的GP。

实验结果

研究问题

• RQ1 我们能否在保持模型可解释性的前提下，将自动统计师扩展至含数万点的数据集？
• RQ2 在大规模设置中，一种廉价且紧致的GP边缘似然上界是否能有效引导核搜索？
• RQ3 与仅使用变分下界相比，所提出的上界在紧致性和可靠性方面表现如何？
• RQ4 SKC能否在大时间序列中发现复杂、多尺度的结构，如双重周期性模式和局部趋势？
• RQ5 与仅使用下界或随机子采样相比，使用上界是否能实现更深的核搜索（例如深度超过4）？

主要发现

• SKC在N = 31,957个点的潮汐数据中成功发现具有SE × PER₁ × LIN × PER₂ × PER₃结构的核，同时捕捉到12小时和双周周期性。
• 边缘似然的上界显著优于变分下界，使模型选择更加可靠和稳定。
• 仅使用下界进行核搜索在深度3后即因边界信号-噪声比过差而失败，而SKC成功探索了更深的结构。
• 即使在最大2,560个点的随机子采样下，仍无法保留全局结构（如长周期趋势），而SKC在m = 640个诱导点下能准确捕捉这些结构。
• LIN核的影响可忽略不计（斜率 = -5×10⁻⁶），PER₂因长度尺度高且振幅小而影响微弱，证实了模型的可解释性。
• SKC在CKS和基于子采样的方法失效的大数据集中实现了可扩展且可解释的结构发现，展现出O(N²)的运行时间复杂度。