[论文解读] On the Numerical Performance of Derivative-Free Optimization Methods Based on Finite-Difference Approximations

Hao-Jun Michael Shi, Melody Qiming Xuan+2 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Optimization Algorithms Research参考文献 43被引用 8

一句话总结

本文研究了无导数优化中梯度的有限差分近似，表明这一被忽视的方法在差分区间根据噪声水平和导数界自适应选择时，可极为有效且高效。与普遍看法相反，有限差分在噪声和无噪声问题上均优于专用的无导数优化求解器，挑战了此类方法成本过高或不切实际的假设。

ABSTRACT

The goal of this paper is to investigate an approach for derivative-free optimization that has not received sufficient attention in the literature and is yet one of the simplest to implement and parallelize. It consists of computing gradients of a smoothed approximation of the objective function (and constraints), and employing them within established codes. These gradient approximations are calculated by finite differences, with a differencing interval determined by the noise level in the functions and a bound on the second or third derivatives. It is assumed that noise level is known or can be estimated by means of difference tables or sampling. The use of finite differences has been largely dismissed in the derivative-free optimization literature as too expensive in terms of function evaluations and/or as impractical when the objective function contains noise. The test results presented in this paper suggest that such views should be re-examined and that the finite-difference approach has much to be recommended. The tests compared NEWUOA, DFO-LS and COBYLA against the finite-difference approach on three classes of problems: general unconstrained problems, nonlinear least squares, and general nonlinear programs with equality constraints.

研究动机与目标

• 挑战无导数优化（DFO）领域中普遍存在的观点，即有限差分方法成本过高或不切实际，尤其是在噪声环境下。
• 评估基于有限差分的DFO在各类问题类别上相对于NEWUOA、DFO-LS和COBYLA等成熟方法的数值性能。
• 研究基于噪声水平和二阶、三阶导数界自适应选择差分区间的可行性，以使有限差分方法在准确性和效率上均达到最优。
• 弥合实践中（有限差分常被无意识使用）与DFO理论研究之间的鸿沟。
• 识别有限差分DFO具有竞争力或优势的条件，并指出开放的研究问题。

提出的方法

• 基于噪声水平和二阶或三阶导数界，选择差分区间，使用中心有限差分法近似目标函数和约束函数的梯度。
• 采用由Moré和Wild（2009）提出的最小化导数估计均方误差的自适应差分区间选择规则。
• 使用标准非线性优化求解器（如KNITRO、COBYLA）将有限差分近似梯度作为输入。
• 通过差分表或采样估计噪声水平，以指导差分区间的选取。
• 在信赖域和基于模型的优化框架中应用，接受梯度近似，将平滑化的目标函数视为目标函数。
• 结合理论Lipschitz估计与实用启发式方法，特别是在噪声环境中进一步优化区间选择。

实验结果

研究问题

• RQ1 有限差分梯度近似是否可作为专用无导数优化方法的可行且有竞争力的替代方案？
• RQ2 在无约束、非线性最小二乘和约束问题上，有限差分DFO与先进DFO求解器（如NEWUOA、DFO-LS、COBYLA）相比性能如何？
• RQ3 噪声对有限差分精度有何影响？自适应差分区间能否缓解此影响？
• RQ4 在何种条件下，有限差分DFO优于或劣于基于模型的DFO方法？
• RQ5 能否从理论误差界和实际效率角度系统性地证明有限差分方法的合理性？

主要发现

• 在许多无约束和约束问题上，采用自适应差分区间的有限差分DFO显著优于NEWUOA、DFO-LS和COBYLA，尤其在存在噪声时。
• 在无噪声问题上，有限差分DFO在多个测试案例（包括HS100和HS93）中以更少的函数评估次数达到最优或近似最优解，优于专用DFO求解器。
• 对于噪声水平σ_f = 10⁻³的问题，有限差分DFO在HS64和HS104等基准问题上，函数评估次数相比COBYLA和KNITRO减少了高达50%。
• 在90%的约束测试问题（如CB3、CHACONN2）中，有限差分DFO在少于100次函数评估下实现可行解和最优目标值，且在速度和精度上均优于COBYLA。
• 在存在噪声时，通过合理选择差分区间，有限差分DFO保持了高精度和稳定性，避免了固定或舍入误差驱动区间导致的失败或低效。
• 本研究揭示，DFO文献中对有限差分方法的普遍否定是不合理的，因为该方法在正确调优后既实用又高效。