[论文解读] Simple Complexity Analysis of Direct Search.

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|Oct 1, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 8

一句话总结

本文对无导数无约束平滑函数最小化中的模式搜索方法进行了简化的复杂度分析。通过将‘不成功步’重新解释为在分析中有用，推导出清晰且可解释的复杂度界：对于凸函数为 O(n/ε)，对于强凸问题为 O(n log(1/ε)，对于非凸情形则为 O(n/ε)，目标是将梯度范数降低至 ε 以下。

ABSTRACT

We consider the problem of unconstrained minimization of a smooth function in the derivativefree setting. In particular, we study the pattern search method (of directional type). Despite relevant research activity spanning several decades, until recently no complexity guarantees— bounds on the number of function evaluations needed to find a satisfying point—for methods of this type were established. Moreover, existing complexity results require long proofs and the resulting bounds have a complicated form. In this paper we give a very brief and insightful analysis of pattern search for nonconvex, convex and strongly convex objective function, based on the observation that what is in the literature called an “unsuccessful step”, is in fact a step that can drive the analysis. We match the existing results in their dependence on the problem dimension (n) and error tolerance (ǫ), but the overall complexity bounds are much simpler, easier to interpret, and have better dependence on other problem parameters. In particular, we show that the number of function evaluations needed to find an ǫ-solution is O(n/ǫ) (resp. O(n log(1/ǫ))) for the problem of minimizing a convex (resp. strongly convex) smooth function. In the nonconvex smooth case, the bound is O(n/ǫ), with the goal being the reduction of the norm of the gradient below ǫ.

研究动机与目标

• 解决无导数模式搜索方法长期缺乏复杂度保证的问题。
• 简化现有无约束平滑最小化中模式搜索的复杂度界。
• 提高对问题参数（如维度 n 和容差 ε）的可解释性与依赖关系。
• 为凸、强凸和非凸平滑函数建立紧致且清晰的复杂度界。

提出的方法

• 将模式搜索中的‘不成功步’重新解释为在分析中有益，从而实现更紧密的分析。
• 采用一种新视角，将步骤视为收敛的驱动力量而非失败，从而在复杂度分析中发挥作用。
• 在光滑性假设下，使用统一框架分析非凸、凸和强凸情形。
• 基于达到 ε-最优性或 ε-梯度范数降低所需的函数评估次数，推导复杂度界。
• 采用简洁的分析技术，避免了先前工作中冗长的推导过程。
• 建立的界对问题维度 n 和容差 ε 的依赖关系清晰，且对其他参数的依赖关系更优。

实验结果

研究问题

• RQ1 能否为无导数优化中的模式搜索开发出更简单且更具洞察力的复杂度分析？
• RQ2 模式搜索的函数评估次数对维度 n 和容差 ε 的真实依赖关系是什么？
• RQ3 与现有结果相比，模式搜索的复杂度界在简洁性和紧致性方面如何？
• RQ4 ‘不成功步’的概念能否被重新诠释以改进收敛性分析？
• RQ5 使用模式搜索最小化平滑非凸、凸和强凸函数时，可达到的最紧致复杂度界是什么？

主要发现

• 对于平滑凸函数，找到 ε-解所需的函数评估次数为 O(n/ε)。
• 对于平滑强凸函数，复杂度界为 O(n log(1/ε))，比先前结果更紧致。
• 在平滑非凸情形下，该方法通过 O(n/ε) 次函数评估实现了梯度范数低于 ε 的减少。
• 该分析简化了先前的证明，并得到了对问题参数依赖关系更优的界。
• 新复杂度界在数量级上与现有结果一致，但显著更具可解释性和简洁性。
• 将‘不成功步’重新定义为在分析中有用，使得复杂度分析更加简洁且富有洞察力。