[论文解读] On the choice of the low-dimensional domain for global optimization via random embeddings

Mickaël Binois, David Ginsbourger+1 more|arXiv (Cornell University)|Apr 14, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 64被引用 48

一句话总结

本文针对在高维黑箱全局优化问题中通过随机嵌入选择合适低维域这一关键挑战提出解决方案。通过分析随机嵌入的几何特性，提出一种改进的嵌入方法，基于原始盒式约束的正交投影定义最小且紧凑的搜索域，显著提升了贝叶斯优化的鲁棒性与性能，尤其在评估预算有限的情况下表现更优。

ABSTRACT

The challenge of taking many variables into account in optimization problems may be overcome under the hypothesis of low effective dimensionality. Then, the search of solutions can be reduced to the random embedding of a low dimensional space into the original one, resulting in a more manageable optimization problem. Specifically, in the case of time consuming black-box functions and when the budget of evaluations is severely limited, global optimization with random embeddings appears as a sound alternative to random search. Yet, in the case of box constraints on the native variables, defining suitable bounds on a low dimensional domain appears to be complex. Indeed, a small search domain does not guarantee to find a solution even under restrictive hypotheses about the function, while a larger one may slow down convergence dramatically. Here we tackle the issue of low-dimensional domain selection based on a detailed study of the properties of the random embedding, giving insight on the aforementioned difficulties. In particular, we describe a minimal low-dimensional set in correspondence with the embedded search space. We additionally show that an alternative equivalent embedding procedure yields simultaneously a simpler definition of the low-dimensional minimal set and better properties in practice. Finally, the performance and robustness gains of the proposed enhancements for Bayesian optimization are illustrated on numerical examples.

研究动机与目标

• 解决在使用随机嵌入进行高维全局优化时，定义有效低维搜索域的困难。
• 克服过于受限的域（可能遗漏全局最优解）与过于宽大的域（减缓收敛速度）之间的权衡。
• 为低维域提供一个数学上严谨、最小且紧凑的集合，确保在随机嵌入下完全覆盖原始搜索空间。
• 提升依赖随机嵌入的贝叶斯优化方法的实用性能与鲁棒性，尤其在评估预算有限时。
• 提出一种替代嵌入方法，简化低维域的定义，提升优化效率与可靠性。

提出的方法

• 将最小低维集合定义为原始盒式约束在随机嵌入映射下的原像，确保所有可行解均被覆盖。
• 提出一种基于高维域正交投影并反向投影的替代嵌入方法，简化低维域的定义。
• 将嵌入域表征为平行多面体（zonotope），利用随机投影与凸几何的性质。
• 利用新嵌入方法在低维域中定义一个紧凑且有界的搜索空间，以高概率保持对完整解空间的覆盖。
• 在REMBO（随机嵌入贝叶斯优化）框架中应用改进的域选择方法，使用高斯过程进行代理建模。
• 在不同维度与预算下，通过标准测试函数比较性能，评估最优性差距与收敛速度。

实验结果

研究问题

• RQ1 在随机嵌入下，确保全局最优解不被排除的最小紧凑低维集合是什么？
• RQ2 低维域的选择如何影响基于随机嵌入优化的收敛性与鲁棒性？
• RQ3 是否可通过一种替代嵌入方法简化低维搜索域的定义，同时提升优化性能？
• RQ4 是否使用更精确界定的低维域能提升在有限函数评估次数下的贝叶斯优化性能？
• RQ5 与标准REMBO及其他基线方法（如随机搜索、EBO）相比，所提方法在鲁棒性与收敛速度方面表现如何？

主要发现

• 在随机嵌入下确保原始搜索空间完全覆盖的最小低维集合，即为嵌入映射下盒式约束的原像。
• 所提出的替代嵌入方法——基于正交投影与反向投影——使得低维域的定义更加简洁直观。
• 新域定义显著提升了鲁棒性，即使在评估预算有限时，也大幅降低了遗漏全局最优解的风险。
• 数值实验表明，改进的域选择在收敛速度与中位最优性差距方面均优于标准REMBO及其他基线方法（如RO、EBO），尤其在高维问题中表现更优。
• 性能提升在多个测试函数中保持一致，包括Branin、Hartman6、Borehole与Cola，且在高维或非可分设置下提升最为显著。
• 当变量数D增加时，该方法仍保持优异性能，展现出良好的可扩展性与对维度的鲁棒性。