[论文解读] Optimization of Smooth Functions with Noisy Observations: Local Minimax Rates

Yining Wang, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Mar 22, 2018

Advanced Optimization Algorithms Research被引用 7

一句话总结

本文提出一种局部极小极大框架，用于分析在噪声观测下对光滑非凸函数的零阶优化，表明自适应算法的收敛速度可显著快于全局极小极大界所暗示的速度——尤其当全局最小值附近水平集快速增长时。关键贡献在于对优化内在难度的精细化理论刻画，基于函数的局部几何结构，证明即使非自适应算法在全局范围内达到极小极大最优，也无法实现最优的局部收敛率。

ABSTRACT

We consider the problem of global optimization of an unknown non-convex smooth function with zeroth-order feedback. In this setup, an algorithm is allowed to adaptively query the underlying function at different locations and receives noisy evaluations of function values at the queried points (i.e. the algorithm has access to zeroth-order information). Optimization performance is evaluated by the expected difference of function values at the estimated optimum and the true optimum. In contrast to the classical optimization setup, first-order information like gradients are not directly accessible to the optimization algorithm. We show that the classical minimax framework of analysis, which roughly characterizes the worst-case query complexity of an optimization algorithm in this setting, leads to excessively pessimistic results. We propose a local minimax framework to study the fundamental difficulty of optimizing smooth functions with adaptive function evaluations, which provides a refined picture of the intrinsic difficulty of zeroth-order optimization. We show that for functions with fast level set growth around the global minimum, carefully designed optimization algorithms can identify a near global minimizer with many fewer queries. For the special case of strongly convex and smooth functions, our implied convergence rates match the ones developed for zeroth-order convex optimization problems. At the other end of the spectrum, for worst-case smooth functions no algorithm can converge faster than the minimax rate of estimating the entire unknown function in the $\\ell_\\infty$-norm. We provide an intuitive and efficient algorithm that attains the derived upper error bounds.

研究动机与目标

• 为解决经典全局极小极大分析在零阶优化中的局限性，该分析高估了在噪声评估下优化光滑函数的难度。
• 开发一种局部极小极大框架，基于函数的局部几何特性（特别是全局最小值附近的水平集增长）捕捉优化的内在难度。
• 阐明在噪声条件下，自适应查询策略相较于非自适应策略的理论优势。
• 建立依赖于函数局部结构（特别是子水平集体积增长）的优化误差的紧致上下界。
• 证明对于强凸且光滑的函数，所推导的收敛速率与零阶凸优化中已知的最优速率一致。

提出的方法

• 引入一种局部极小极大框架，将优化误差相对于参考函数 $ f_0 $ 进行评估，聚焦于全局最小解的邻域。
• 基于子水平集 $ L_f(\epsilon) $ 的体积增长特性刻画局部极小极大率，定义为 $ \mu_f(\epsilon) = \mathrm{Vol}(L_f(\epsilon)) $，其中 $ \mu_f(\epsilon) \asymp \epsilon^\beta $，$ \beta > 0 $。
• 使用基于均匀采样和高斯噪声的非参数回归估计器 $ \widecheck{f} $ 近似函数，通过浓度不等式推导误差界。
• 应用切尔诺夫不等式与联合界，确保局部邻域内采样密度足够，从而在高概率下控制估计误差。
• 通过将子水平集的覆盖数/填充数与收敛率关联，建立函数局部几何与极小极大率之间的联系。
• 证明非自适应算法即使在全局范围内达到极小极大最优，也无法实现最优的局部极小极大率，揭示了适应性方面的根本差距。

实验结果

研究问题

• RQ1 经典全局极小极大框架能否被改进，以更好地捕捉在噪声下零阶优化的真实难度？
• RQ2 在何种函数几何条件下（如水平集增长），自适应算法可实现快于全局极小极大界所暗示的收敛速度？
• RQ3 为何在实践中，使用主动自适应查询的算法方法优于被动采样，尽管全局极小极大分析给出了理论上的悲观结论？
• RQ4 当函数在全局最小值附近具有快速增长的子水平集时，优化误差的根本极限是什么？
• RQ5 在局部极小极大最优性方面，自适应与非自适应算法有何比较？

主要发现

• 零阶优化的局部极小极大率取决于子水平集的体积增长：增长越快（$ \beta $ 越大），收敛越快，速率表示为 $ \widetilde{O}(n^{-\alpha/(2\alpha + \beta)}) $。
• 对于强凸且光滑的函数，所推导的收敛速率与零阶凸优化中已知的最优速率一致，验证了该框架的紧致性。
• 在最坏情形（水平集增长缓慢）下，任何算法的收敛速度均无法快于 $ \ell_\infty $-范数函数估计的极小极大率，即 $ \widetilde{O}(n^{-\alpha/(2\alpha + d)}) $。
• 提出一种高效的自适应算法，可达到所推导的上界误差，证明了理论发现的实际可行性。
• 非自适应算法虽在全局范围内达到极小极大最优，却无法实现最优的局部极小极大率，凸显了被动采样在局部优化中的根本局限性。
• 本文明确揭示了自适应与非自适应策略之间的二元对立：在光滑非凸设置下，适应性是实现最优局部收敛的必要条件。