[论文解读] Randomized Derivative-Free Optimization of Noisy Convex Functions

Ruobing Chen, Stefan M. Wild|arXiv (Cornell University)|Jul 13, 2015

Stochastic Gradient Optimization Techniques参考文献 19被引用 4

一句话总结

该论文提出 STARS，一种用于噪声凸函数的随机化无导数优化算法，通过动态调整平滑步长以最小化真实方向导数与近似方向导数之间的误差。STARS 在理论上实现了对噪声的不变收敛性，其理论保证与 Nesterov 方法一致，并在实践中优于现有零阶方法，尤其在加性噪声和乘性噪声下表现更优。

ABSTRACT

We propose STARS, a randomized derivative-free algorithm for unconstrained optimization when the function evaluations are contaminated with random noise. STARS takes dynamic, noise-adjusted smoothing step-sizes that minimize the least-squares error between the true directional derivative of a noisy function and its finite difference approximation. We provide a convergence rate analysis of STARS for solving convex problems with additive or multiplicative noise. Experimental results show that (1) STARS exhibits noise-invariant behavior with respect to different levels of stochastic noise; (2) the practical performance of STARS in terms of solution accuracy and convergence rate is significantly better than that indicated by the theoretical result; and (3) STARS outperforms a selection of randomized zero-order methods on both additive and multiplicative-noisy functions.

研究动机与目标

• 解决在目标函数评估受随机噪声污染且导数不可用时优化凸函数的挑战。
• 开发一种通过动态步长选择自适应噪声水平的无导数算法，以提升鲁棒性和收敛性。
• 在温和假设下，对加性噪声和乘性噪声模型提供理论收敛速率分析。
• 通过实验表明，STARS 在解的精度和收敛速度方面显著优于现有随机化零阶方法，即使理论界偏保守亦如此。

提出的方法

• STARS 使用高斯平滑通过有限差分近似方向导数，并采用动态调整的步长。
• 平滑步长的选择基于最小化真实方向导数与其有限差分近似之间最小二乘误差。
• 该算法通过沿随机搜索方向的噪声函数评估，基于无梯度随机 oracle 迭代更新解。
• 步长根据每轮的噪声估计和局部函数变化进行自适应调整，确保对加性和乘性噪声均具有鲁棒性。
• 该方法整合了 Moré 和 Wild 关于计算噪声估计的研究成果，以在噪声环境中优化步长选择。
• 在标准假设下进行收敛性分析：凸性、梯度的Lipschitz连续性以及噪声方差有界，结果与 Nesterov 方法对光滑凸函数的复杂度界一致。

实验结果

研究问题

• RQ1 无导数优化算法是否能在加性和乘性噪声下实现对噪声的不变收敛？
• RQ2 与固定或启发式步长相比，动态自适应步长选择在噪声环境下的性能提升程度如何？
• RQ3 STARS 的实际性能在多大程度上超出其理论最坏情况收敛界？
• RQ4 在噪声环境下，STARS 与 SS、RSGF、RP 和 (1+1)-ES 等成熟随机化零阶方法相比，收敛速率和解精度如何？
• RQ5 STARS 是否能在不依赖噪声结构先验知识的前提下，保持在不同噪声水平下的稳定性能？

主要发现

• STARS 展现出对噪声的不变行为，在加性和乘性噪声水平变化时均保持稳定的收敛性。
• STARS 的实际收敛速率和解精度显著优于其理论最坏情况边界，表明其在真实场景中具有强大性能。
• 在加性和乘性噪声测试问题上，STARS 在收敛速度和最终解质量方面均优于 SS、RSGF、RP 和 (1+1)-ES。
• 基于最小化方向导数近似中最小二乘误差的动态步长选择，被证明对噪声鲁棒性至关重要。
• 在乘性噪声情况下，STARS 无法通过调节 SS 中的固定步长实现，凸显了动态自适应的必要性。
• 实证结果证实，即使目标函数存在噪声，STARS 仍能达到与 Nesterov 方法相同的收敛速率，适用于光滑凸函数。