[论文解读] Sequential search based on kriging: convergence analysis of some algorithms

Emmanuel Vázquez, Julien Bect|arXiv (Cornell University)|Nov 16, 2011

Metaheuristic Optimization Algorithms Research参考文献 6被引用 13

一句话总结

本文在贝叶斯框架下分析了基于顺序克里金法的优化与近似算法的收敛性，重点关注平均情况下的误差率。研究证明，贪心顺序设计策略在 $\nu = \nu - d/2 > 0$ 条件下可实现均方误差衰减率的最优性 $\mathcal{O}(n^{2\nu/d})$，并表明自适应算法在平均误差衰减方面优于非自适应算法，尤其在马特恩协方差假设下表现更优。

ABSTRACT

Let $\FF$ be a set of real-valued functions on a set $\XX$ and let $S:\FF o \GG$ be an arbitrary mapping. We consider the problem of making inference about $S(f)$, with $f\in\FF$ unknown, from a finite set of pointwise evaluations of $f$. We are mainly interested in the problems of approximation and optimization. In this article, we make a brief review of results concerning average error bounds of Bayesian search methods that use a random process prior about $f$.

研究动机与目标

• 分析基于克里金法的顺序算法在函数逼近与全局优化中的平均情况性能。
• 通过比较不同策略下的平均误差衰减速率，评估贝叶斯优化中自适应性的优势。
• 在顺序设计下，建立克里金预测器均方误差（MSE）的理论界。
• 推导在马特恩和赫尔德连续协方差结构下，优化过程中平均误差衰减的最优速率。
• 证明尽管贪心顺序设计策略在最坏情况下的性能次优，但在平均情况设置下仍可实现速率最优性。

提出的方法

• 将未知函数建模为均值为零的高斯过程样本路径，其协方差函数为连续且平稳的。
• 使用克里金法（条件期望）作为预测器，克里金系数通过基于观测函数值的线性系统求解获得。
• 将克里金预测器的均方误差（MSE）定义为 $\sigma_n^2(x) = \mathsf{E}[(\xi(x) - \widehat{\xi}_n(x))^2]$，用于量化估计不确定性。
• 对协方差函数施加正则性假设，要求其傅里叶变换满足 $c_1(1+\|u\|^2)^{-s} \leq \tilde{\Phi}(u) \leq c_2(1+\|u\|^2)^{-s}$，其中 $s > d/2$。
• 提出一种贪心顺序设计策略：$x_{i+1} = \arg\max_{x \in \mathbb{X}} \sigma_n^2(x; x_1, \dots, x_i)$，即在每一步最大化后验方差。
• 利用 Binev 等人（2010）的结果，证明该贪心策略可保持多项式衰减速率，从而确立 MSE 的速率最优性。

实验结果

研究问题

• RQ1 基于克里金法的顺序优化与近似算法的平均情况误差衰减速率是什么？
• RQ2 与非自适应策略相比，自适应性如何影响基于克里金法的搜索算法的平均情况性能？
• RQ3 贪心顺序设计策略是否能在平均情况设置下实现均方误差衰减的最优速率？
• RQ4 在马特恩或赫尔德连续协方差函数下，平均优化误差的最优衰减速率是多少？
• RQ5 是否存在理论依据解释自适应克里金算法在实践中取得成功的原因，而不仅仅是基于最坏情况分析？

主要发现

• 在给定正则性假设下，贪心顺序设计策略 $x_{i+1} = \arg\max_x \sigma_n^2(x; x_1, \dots, x_i)$ 可实现均方误差衰减率 $\mathcal{O}(n^{2\nu/d})$，其中 $\nu = s - d/2 > 0$。
• 该衰减速率在平均情况设置下是最优的，通过扩展 Binev 等人（2010）关于贪心算法保持多项式衰减速率的结果得以证明。
• 对于优化问题，平均误差 $\mathsf{E}[S(\xi) - \widehat{S}_n(\xi)]$ 在 $\alpha$-赫尔德连续协方差下以速率 $\mathcal{O}(n^{-\alpha/(2d)}(\log n)^{1/2})$ 衰减，其中 $\alpha = 2\nu$ 对应马特恩过程。
• 一般情况下，$\mathcal{O}(n^{-\nu/d}(\log n)^{1/2})$ 的界并不紧，因为对于布朗运动（$\alpha=1$）的最优非自适应速率是 $n^{-1/2}$，表明自适应性可提升性能。
• 对自适应算法的平均情况误差的理论分析仍较有限，目前数值模拟是评估算法性能的主要工具。
• 尽管缺乏全面的理论结果，本文证明自适应顺序克里金策略可实现比非自适应策略更快的平均误差衰减，从而为其实用性提供了理论依据。