[论文解读] Structure Discovery in Nonparametric Regression through Compositional Kernel Search

David Duvenaud, James Robert Lloyd+3 more|arXiv (Cornell University)|Feb 20, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用 274

一句话总结

本文提出一种用于非参数回归的组合核搜索方法，通过加法和乘法组合基础核，自动发现可解释的核结构。利用边际似然作为准则，该方法在时间序列中实现了精确的长程外推，并在预测任务中优于标准核函数和组合方法。

ABSTRACT

Despite its importance, choosing the structural form of the kernel in nonparametric regression remains a black art. We define a space of kernel structures which are built compositionally by adding and multiplying a small number of base kernels. We present a method for searching over this space of structures which mirrors the scientific discovery process. The learned structures can often decompose functions into interpretable components and enable long-range extrapolation on time-series datasets. Our structure search method outperforms many widely used kernels and kernel combination methods on a variety of prediction tasks.

研究动机与目标

• 为解决非参数回归中核选择的挑战，该挑战通常依赖专家直觉和试错法。
• 自动化发现核结构，而非将其视为固定超参数调优问题。
• 通过组合核构建实现函数的可解释性分解，使其具有实际意义。
• 通过学习结构有意义的核函数，提升泛化能力，特别是时间序列数据的长程外推能力。
• 用基于贝叶斯模型选择的系统化、基于搜索的方法取代临时的核工程。

提出的方法

• 该方法定义了一个由少量基础核（如平方指数核、周期核、线性核）通过加法和乘法组合而成的核结构空间。
• 将核结构发现问题形式化为在该组合空间上的离散搜索问题，以边际似然作为目标函数。
• 搜索过程借鉴方程发现和无监督学习的技术，高效探索复杂的核组合。
• 通过在每个输入维度上组合一维基础核，并使用加法和乘法运算，构建多维输入的核函数。
• 该方法在高斯过程框架内应用，其中核函数定义先验协方差，从而控制归纳偏置。
• 通过使用边际似然指导结构选择，对方法进行评估，实现有意义的函数分解的自动发现。

实验结果

研究问题

• RQ1 是否存在一种系统化、自动化的核结构发现方法，能够实现比手工设计或标准核组合更好的泛化性能？
• RQ2 所发现的核结构是否能将复杂函数分解为可解释的组成部分，如趋势、周期性或局部变化？
• RQ3 组合核搜索方法是否能在时间序列回归任务中实现精确的长程外推？
• RQ4 所学习的核结构性能与广泛使用的核族及组合技术相比如何？
• RQ5 该方法能否从合成数据中恢复已知核形式，从而证明其可靠性和表达能力？

主要发现

• 所提出的方法成功从合成数据中恢复已知核结构，验证了其发现正确函数形式的能力。
• 在真实世界的时间序列数据集上，所学习的核函数实现了精确的长程外推，优于标准核函数和组合方法。
• 所发现的核结构通常能将函数分解为可解释的组成部分，如趋势和周期性，从而增强模型的可解释性。
• 在多个监督预测任务中，该方法优于多种广泛使用的核类和核组合技术。
• 基于边际似然的搜索能有效引导复杂、组合结构核的发现，而无需手动指定核形式。
• 该方法表明，自动化核结构发现可替代基于专家经验的核工程，提供一种透明且基于科学的替代方案。