[论文解读] On the convergence of the expected improvement algorithm

Emmanuel Vázquez, Julien Bect|arXiv (Cornell University)|Dec 21, 2007

Gaussian Processes and Bayesian Inference被引用 14

一句话总结

本文建立了在使用高斯过程模型进行全局优化时，期望改进算法的收敛性。在协方差函数的温和条件下，该算法为由核函数诱导的再生核希尔伯特空间中的函数生成搜索域内稠密的采样点序列，并且在先验分布下对所有连续函数以概率几乎必然成立。

ABSTRACT

paper has been withdrawn from the arXiv. It is now published by Elsevier in the Journal of Statistical Planning and Inference, under the modified title Convergence properties of the expected improvement algorithm with fixed mean and covariance functions. See this http URL An author-generated post-print version is available from the HAL repository of SUPELEC at this http URL Abstract : This paper deals with the convergence of the expected improvement algorithm, a popular global optimization algorithm based on a Gaussian process model of the function to be optimized. The first result is that under some mild hypotheses on the covariance function k of the Gaussian process, the expected improvement algorithm produces a dense sequence of evaluation points in the search domain, when the function to be optimized is in the reproducing kernel Hilbert space generated by k. The second result states that the density property also holds for P-almost all continuous functions, where P is the (prior) probability distribution induced by the Gaussian process.

研究动机与目标

• 分析贝叶斯优化中期望改进算法的收敛行为。
• 确定在何种条件下该算法在搜索域内产生稠密的采样点序列。
• 建立该稠密性性质不仅对由核函数诱导的再生核希尔伯特空间中的函数成立，也对先验分布下几乎所有的连续函数成立。
• 为期望改进算法在全局优化中经验上的成功提供理论依据。

提出的方法

• 分析依赖于高斯过程协方差函数 k 所关联的再生核希尔伯特空间（RKHS）理论。
• 作者研究了期望改进获取函数及其对后验均值和方差的依赖性。
• 他们使用测度论论证，证明所选点序列在连续函数下以 P-几乎必然的方式是稠密的。
• 该证明利用了协方差函数的性质，特别是其光滑性和正定性。
• 通过证明在域内任意点的期望改进值除非点被稠密采样，否则始终保持远离零，从而建立收敛性。
• 分析假设了固定的均值和协方差函数，专注于在这些约束下算法的采样行为。

实验结果

研究问题

• RQ1 在何种条件下，期望改进算法在搜索域内产生稠密的采样点序列？
• RQ2 该稠密性是否对由核函数诱导的 RKHS 中的所有函数都成立？
• RQ3 在高斯过程先验下，该稠密性是否对 P-几乎所有的连续函数保持成立？
• RQ4 协方差函数的选择如何影响期望改进算法的收敛行为？
• RQ5 是否可以在不对目标函数施加强假设的前提下，保证该算法的理论收敛性？

主要发现

• 在协方差函数 k 的温和正则性条件下，当目标函数属于与 k 相关的 RKHS 时，期望改进算法生成的采样点序列在搜索域内是稠密的。
• 该稠密性性质可推广至 P-几乎所有的连续函数，其中 P 是由高斯过程诱导的先验测度。
• 只要目标函数连续且在 GP 先验下采样，收敛性即得到保证，与目标函数的具体形式无关。
• 即使目标函数不属于 RKHS，只要其连续且先验适定，该结果依然成立。
• 该理论基础支持了期望改进算法在实际贝叶斯优化设置中经验上的鲁棒性。
• 该分析证实，该算法可避免过早收敛，并在温和假设下确保对整个搜索域的充分探索。