[论文解读] Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings

Sang Truong, Duc Quang Nguyen+5 more|arXiv (Cornell University)|Jan 10, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

LookaHES 是一个具有动态、历史依赖成本的非短视贝叶斯优化框架，使用神经策略和路径化采样来规划长时 horizon（20+ 步），在合成任务和真实任务上优于短视基线和某些非短视基线。

ABSTRACT

Bayesian optimization (BO) is a common framework for optimizing black-box functions, yet most existing methods assume static query costs and rely on myopic acquisition strategies. We introduce LookaHES, a nonmyopic BO framework designed for dynamic, history-dependent cost environments, where evaluation costs vary with prior actions, such as travel distance in spatial tasks or edit distance in sequence design. LookaHES combines a multi-step variant of $H$-Entropy Search with pathwise sampling and neural policy optimization, enabling long-horizon planning beyond twenty steps without the exponential complexity of existing nonmyopic methods. The key innovation is the integration of neural policies, including large language models, to effectively navigate structured, combinatorial action spaces such as protein sequences. These policies amortize lookahead planning and can be integrated with domain-specific constraints during rollout. Empirically, LookaHES outperforms strong myopic and nonmyopic baselines across nine synthetic benchmarks from two to eight dimensions and two real-world tasks: geospatial optimization using NASA night-light imagery and protein sequence design with constrained token-level edits. In short, LookaHES provides a general, scalable, and cost-aware solution for robust long-horizon optimization in complex decision spaces, which makes it a useful tool for researchers in machine learning, statistics, and applied domains. Our implementation is available at https://github.com/sangttruong/nonmyopia.

研究动机与目标

• 在贝叶斯优化中解决动态、历史依赖的评估成本。
• 实现超越传统四步前瞻的可扩展长时 horizon 规划。
• 结合神经策略以优化决策变量并处理结构化行动空间。
• 在合成基准和真实世界领域（蛋白质设计、地理空间优化）证明有效性。
• 提供实现与经验评估，展示对噪声和成本结构的鲁棒性。

提出的方法

• 用带有动态成本的非短视贝叶斯优化，使用扩展到多步的 H-Entropy Search (HES)（EHIG）。
• 引入 LookaHES，将多步 HES 与路径化采样和神经策略优化相结合，以降低优化参数和轨迹样本量。
• 建模动态成本（马尔可夫与非马尔可夫）并在获取目标函数中加入拉格朗日预算项。
• 使用递归神经策略（基于 RNN/Transformer）对前瞻性决策进行变分优化，降低与时间步相关的参数增长。
• 应用路径化采样以生成幻想轨迹并将回合成本的展开复杂度从指数级降至可管理水平。
• 通过将标记嵌入离散与连续空间并采用合适的微分方法（再参数化或策略梯度）来处理离散和连续空间。

实验结果

研究问题

• RQ1 RQ1: 在连续输入条件下，LookaHES 相对于最先进的短视与非短视基线在动态成本下的表现如何？
• RQ2 RQ2: LookaHES 是否能有效应用于具有离散输入空间的问题？
• RQ3 RQ3: aleatoric/epistemic 噪声、代理模型质量与前瞻步长如何影响 LookaHES 的性能？
• RQ4 RQ4: 在短视方法中的乐观性是否会转化为比非短视方法更好的性能，并且这种乐观性是否可推广到真实世界问题？

主要发现

• LookaHES 在多种成本结构下持续优于短视基线，在合成基准上与非短视基线具有竞争力。
• 该方法可扩展到二十步及以上的前瞻长度，通过神经策略优化与路径化采样解决指数级回滚复杂度。
• LookaHES 在离散蛋白质序列设计中表现出色，利用基于语言模型的策略在聚光成本下引导编辑。
• 在连续 NASA 夜光地理空间优化中，LookaHES 相对于基线在动态成本下表现出稳健改进。
• 在蛋白质编辑中使用基于 LLaMa-3.2 的策略，LookaHES 在受限编辑下实现更高的荧光并且累积后悔度低于短视方法。
• 该方法在九个合成基准（2D–8D）和两个真实任务上得到验证，体现出普适性与可扩展性。