[论文解读] Solving the G-problems in less than 500 iterations: Improved efficient constrained optimization by surrogate modeling and adaptive parameter control

Samineh Bagheri, Wolfgang Konen+2 more|arXiv (Cornell University)|Dec 31, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 7

一句话总结

SACOBRA 是一种自适应调整的约束优化算法，通过集成自适应参数控制、plog 变换和输入空间重标度，改进了 COBRA 算法，在无需人工调参的情况下，仅用少于 500 次函数评估即可获得高质量解。它在 G-问题和 MOPTA08 基准测试中优于固定参数的 COBRA，在 11 个 G-问题中高效求解了 10 个，整体性能提升 50%。

ABSTRACT

Constrained optimization of high-dimensional numerical problems plays an important role in many scientific and industrial applications. Function evaluations in many industrial applications are severely limited and no analytical information about objective function and constraint functions is available. For such expensive black-box optimization tasks, the constraint optimization algorithm COBRA was proposed, making use of RBF surrogate modeling for both the objective and the constraint functions. COBRA has shown remarkable success in solving reliably complex benchmark problems in less than 500 function evaluations. Unfortunately, COBRA requires careful adjustment of parameters in order to do so. In this work we present a new self-adjusting algorithm SACOBRA, which is based on COBRA and capable to achieve high-quality results with very few function evaluations and no parameter tuning. It is shown with the help of performance profiles on a set of benchmark problems (G-problems, MOPTA08) that SACOBRA consistently outperforms any COBRA algorithm with fixed parameter setting. We analyze the importance of the several new elements in SACOBRA and find that each element of SACOBRA plays a role to boost up the overall optimization performance. We discuss the reasons behind and get in this way a better understanding of high-quality RBF surrogate modeling.

研究动机与目标

• 解决工业应用中昂贵的黑箱约束优化问题，即在函数评估次数有限的条件下实现高效求解。
• 通过实现自动、自适应的参数控制，克服 COBRA 的主要局限——对人工参数调参的敏感性。
• 提升径向基函数（RBF）代理建模在数值不稳定性与非理想函数景观下的鲁棒性与效率。
• 在 G-问题和 MOPTA08 等基准问题上实现最先进性能，仅使用极少的函数评估次数，且无需对问题结构的先验知识。

提出的方法

• 提出 SACOBRA 作为 COBRA 的扩展，利用 RBF 代理建模同时处理目标函数和约束函数，以减少昂贵的真实函数评估次数。
• 实现自适应参数控制，动态调整关键算法参数（如信赖域大小、采样密度），而无需用户输入。
• 应用条件 plog 变换以稳定具有大梯度或平坦区域函数的 RBF 建模，提升近似精度。
• 引入输入空间重标度作为数值稳定技术，防止 RBF 训练中的病态条件问题，并通过实证验证其重要性。
• 采用基于代理模型预测的修复机制，将不可行解引导回可行区域，确保在约束内收敛。
• 集成受随机排序启发的机制，平衡探索与约束违反处理，增强全局搜索能力。

实验结果

研究问题

• RQ1 能否通过函数变换和输入缩放识别并缓解 RBF 代理建模中的数值不稳定性？
• RQ2 SACOBRA 是否能使用相同的初始参数且无需人工调参，高效求解所有 G-问题，同时在多种不同类型的问题上保持高性能？
• RQ3 在自适应控制的代理方法下，是否可能在少于 500 次函数评估内求解全部 11 个 G-问题？
• RQ4 SACOBRA 的各个组件（如 plog、重标度、自适应控制）在不同问题类别中对性能提升的贡献如何？

主要发现

• SACOBRA 在少于 500 次函数评估内求解了 11 个 G-问题中的 10 个，唯一例外是高度多峰的 G02 问题。
• 根据基准集上的性能轮廓分析，SACOBRA 的整体优化性能比固定参数的 COBRA 提升了 50%。
• 条件 plog 变换显著提升了具有陡峭梯度或平坦区域函数的 RBF 建模精度，降低了近似误差。
• 输入空间重标度在实证上被验证为 RBF 训练中数值稳定性的关键因素，有效解决了高维或缩放不良问题中常见的病态条件问题。
• SACOBRA 中的每一项改进——自适应控制、plog 变换、重标度——均在特定问题子集上带来性能提升，且未在其他问题上造成性能下降。
• SACOBRA 在 G-问题上优于随机排序和基于惩罚的方法，以 300 至 1000 倍更少的函数评估次数实现了相当或更优的精度。