[论文解读] Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization
论文分析为什么线性嵌入（随机投影）在高维贝叶斯优化（HDBO）中可能表现不佳，并引入 ALEBO，一种使用马氏核和受限嵌入以改善建模和包含最优解概率的方法。
Bayesian optimization (BO) is a popular approach to optimize expensive-to-evaluate black-box functions. A significant challenge in BO is to scale to high-dimensional parameter spaces while retaining sample efficiency. A solution considered in existing literature is to embed the high-dimensional space in a lower-dimensional manifold, often via a random linear embedding. In this paper, we identify several crucial issues and misconceptions about the use of linear embeddings for BO. We study the properties of linear embeddings from the literature and show that some of the design choices in current approaches adversely impact their performance. We show empirically that properly addressing these issues significantly improves the efficacy of linear embeddings for BO on a range of problems, including learning a gait policy for robot locomotion.
研究动机与目标
- 识别在 HDBO 中使用的线性嵌入为何表现不佳以及如何诊断建模问题。
- 开发改进以在使用线性嵌入时获得更好的 GP 建模能力。
- 提出 ALEBO，一种新的线性嵌入 HDBO 方法，在基准测试和实际问题上优于现有方法。
提出的方法
- 分析 BO 中线性嵌入的特性以及对环境盒界限进行剪裁如何扭曲函数。
- 引入针对线性嵌入定制的马氏核以改进 GP 建模。
- 将优化约束在嵌入中限定为 -1 <= B^†y <= 1，以避免非线性剪裁带来的失真。
- 通过蒙特卡罗和线性规划估计并最大化嵌入包含最优解的概率 P_opt。
- 提出 ALEBO，结合基于超球面的嵌入、马氏核以及受限的获取函数优化。
- 在合成 HDBO 基准测试和真实任务（NAS、机器人机动性）上演示 ALEBO 的性能。
实验结果
研究问题
- RQ1当存在箱体边界时，线性嵌入如何扭曲 BO 中的函数建模？
- RQ2为线性嵌入定制的核（马氏核）是否能改善嵌入中的 GP 建模？
- RQ3在保持包含最优解的高概率的同时，如何避免因剪裁造成的非线性投影失真？
- RQ4自适应线性嵌入 BO 方法（ALEBO）是否在高维任务上优于现有的线性嵌入 BO 方法？
- RQ5在合成基准和实际优化问题上，ALEBO 的经验性性能如何？
主要发现
- 线性嵌入在投影点落在环境边界之外时可能产生非线性失真，从而损害 GP 的可建模性。
- 嵌入中的马氏核来自真实子空间投影，较 ARD RBF 核在 GP 建模上有改进。
- 将 y 约束为 -1 <= B^†y <= 1 可避免剪裁失真，并实现有效的线性建模，尽管会减小可行搜索体积。
- 嵌入包含最优解的概率 P_opt 随着 d_e > d 的增加和超球面采样而提高，从而提升成功的可能性。
- ALEBO 将基于超球面的嵌入、马氏核和受限优化结合起来，在基准测试（最多 D=1000）以及实际问题（NAS、机器人机动性）上优于 REMBO 和若干 HDBO 基线。
- 在受限的 NAS 任务和机器人机动性方面，ALEBO 在基于嵌入的方法中表现接近最佳。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。