[论文解读] NOWPAC: A provably convergent nonlinear optimizer with path-augmented constraints for noisy regimes

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|Mar 8, 2014

Advanced Optimization Algorithms Research参考文献 27被引用 2

一句话总结

NOWPAC 是一种无导数的非线性优化算法，采用信赖域方法，结合完全线性模型和一种新颖的路径增强型约束处理方案，即使在函数评估存在噪声或不精确的情况下，也能确保收敛至一阶临界点。它在误差衰减条件下保证收敛，并包含一个误差指示器，可在实际应用中检测并缓解不可靠评估的影响。

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

研究动机与目标

• 解决在函数评估受数值误差污染的噪声环境中进行非线性约束无导数优化的挑战。
• 开发一种约束处理机制，通过基于模型的内部边界路径实现可行的试探步长。
• 在评估不精确的条件下，证明迭代序列收敛至一阶临界点。
• 确定在噪声环境中维持收敛性所需的数值误差衰减速率。
• 引入一个误差指示器，用于检测不可靠评估，并防止实际应用中优化性能下降。

提出的方法

• NOWPAC 采用基于完全线性模型的信赖域框架，用于目标函数和约束条件。
• 它引入了一种路径增强型约束策略，通过定义内部边界路径，利用约束模型引导可行的试探步长。
• 该算法使用基于模型的约束违反预测来判断试探步长是否保持在可行区域内。
• 它在评估不精确的条件下提供了收敛性证明，表明只要数值误差以足够快的速率衰减，收敛性即可保持。
• 嵌入了一个误差指示器，用于检测评估过于不可靠而无法信任的情况，使算法能够自适应调整并避免性能下降。
• 该方法确保即使目标函数或约束评估受噪声污染，迭代序列仍能收敛至一阶临界点。

实验结果

研究问题

• RQ1 当目标函数和约束评估受数值误差污染时，无导数优化算法是否仍能保持收敛？
• RQ2 数值误差幅度的衰减速率需达到何种程度，才能保证收敛至一阶临界点？
• RQ3 如何改进无导数优化中的约束处理方法，以确保在无需精确函数评估的情况下实现可行的试探步长？
• RQ4 是否可以将自动误差检测机制集成到信赖域算法中，以防止在噪声环境中性能下降？
• RQ5 能否设计一种路径增强型约束策略，在评估不精确的情况下仍能实现收敛，同时保持可行性？

主要发现

• NOWPAC 在基于完全线性模型的信赖域框架下，可证明收敛至一阶临界点。
• 若函数评估中数值误差的幅度以与算法收敛条件兼容的速率衰减，则收敛性可得到保证。
• 路径增强型约束策略使得仅通过约束模型预测即可计算出可行的试探步长。
• 成功集成了误差指示器，用于检测不可靠评估，并防止优化性能下降。
• 该算法在评估精度无法调整的实际场景中保持鲁棒性，通过检测并响应噪声环境来实现。