[论文解读] Practical Bayesian Optimization over Sets

Jungtaek Kim, Michael McCourt+3 more|arXiv (Cornell University)|May 23, 2019

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

本文提出了一种针对具有集合输入的黑箱函数的实用贝叶斯优化方法，采用一种新颖的集合核，该核强制实现排列不变性并处理可变大小的集合。为降低计算成本，提出了一种核的随机近似方法以及一种对称性感知的采集函数优化方法，在数值实验中表现出优于基线方法的性能。

ABSTRACT

We propose a practical Bayesian optimization method over sets, to minimize a black-box function that can take a set as a single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose two key components: (i) a more efficient probabilistic approximation which is still positive-definite and is an unbiased estimator of the true set kernel with upper-bounded variance in terms of the number of subsamples, (ii) a constrained acquisition function optimization over sets, which uses symmetry of the feasible region that defines a set input. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

研究动机与目标

• 解决输入为集合的黑箱函数优化挑战，此类输入具有排列不变性和可变长度，使得标准向量基贝叶斯优化方法不再适用。
• 开发一种集合核，以捕捉集合元素之间的相似性，同时强制实现排列不变性并支持可变大小的集合。
• 通过引入具有有界方差的随机正定近似，降低完整集合核评估的高计算成本。
• 通过利用集合输入可行区域的对称性，实现对集合上采集函数的高效优化。
• 在多个基准应用中实证验证该方法相对于现有方法的优越性。

提出的方法

• 提出一种集合核，通过累积元素间的相似性来强制实现排列不变性，并支持可变大小的集合输入。
• 引入集合核的随机近似方法，保持正定性，并作为方差有界的无偏估计器，其上界与子样本数量相关。
• 采用约束型采集函数优化策略，利用集合输入可行区域的对称性，提升优化效率。
• 使用带有集合核的高斯过程作为代理模型，指导集合上的贝叶斯优化。
• 对采集函数应用对称性感知优化方案，减少搜索空间和计算负担。
• 采用结合代理建模、采集函数最大化与函数评估的序列优化循环，迭代提升解的质量。

实验结果

研究问题

• RQ1 能否设计一种集合核，以在贝叶斯优化中强制实现排列不变性并支持可变大小的集合输入？
• RQ2 如何在保持正定性等统计特性的同时，降低完整集合核评估的高计算成本？
• RQ3 能否利用集合输入可行区域的对称性来加速采集函数的优化？
• RQ4 与现有贝叶斯优化方法相比，该方法在集合型优化问题上的收敛速度和解质量表现如何？
• RQ5 该方法在具有集合输入的多样化应用中的实证性能如何？

主要发现

• 所提出的集合核方法在多种基于集合的黑箱函数上，优化性能优于基线方法。
• 集合核的随机近似方法保持了统计有效性（正定性），并提供了与子样本数量相关的有界方差估计器。
• 对称性感知的采集函数优化显著降低了计算成本，充分利用了集合输入的不变性结构。
• 在多个数值实验中，该方法在收敛速度和最终解质量方面均表现出一致的改进。
• 实证结果表明，集合核与高效优化策略的结合，相比基于向量或非对称方法，能实现更优的性能。