[论文解读] Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity

Xiaojun Chen, Philippe L. Toint+1 more|arXiv (Cornell University)|Apr 23, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种自适应正则化算法，采用高阶泰勒模型求解具有非利普希茨性 $\ell_q$-范数正则化（$q \in (0,1)$）的部分可分凸约束优化问题。研究表明，对于奇数阶模型，最坏情况下的评估复杂度仍保持为 $O(\epsilon^{-(p+1)/p})$，与利普希茨情形一致，即使存在奇点，且在利用部分可分性或使用非利普希茨模型时也不会导致复杂度损失。

ABSTRACT

An adaptive regularization algorithm using high-order models is proposed for partially separable convexly constrained nonlinear optimization problems whose objective function contains non-Lipschitzian $\ell_q$-norm regularization terms for $q\in (0,1)$. It is shown that the algorithm using an $p$-th order Taylor model for $p$ odd needs in general at most $O(ε^{-(p+1)/p})$ evaluations of the objective function and its derivatives (at points where they are defined) to produce an $ε$-approximate first-order critical point. This result is obtained either with Taylor models at the price of requiring the feasible set to be 'kernel-centered' (which includes bound constraints and many other cases of interest), or for non-Lipschitz models, at the price of passing the difficulty to the computation of the step. Since this complexity bound is identical in order to that already known for purely Lipschitzian minimization subject to convex constraints [CartGoulToin2016], the new result shows that introducing non-Lipschitzian singularities in the objective function may not affect the worst-case evaluation complexity order. The result also shows that using the problem's partially separable structure (if present) does not affect complexity order either. A final (worse) complexity bound is derived for the case where Taylor models are used with a general convex feasible set.

研究动机与目标

• 解决在稀疏信号恢复和图像处理中出现的部分可分凸约束优化问题，其特征为非利普希茨性 $\ell_q$-范数正则化（$q \in (0,1)$）。
• 分析使用高阶模型求解此类问题时的最坏情况评估复杂度。
• 确定与标准利普希茨情形相比，非利普希茨奇点或部分可分结构是否会影响复杂度阶次。
• 设计一种保持复杂度的算法，通过泰勒模型（在核中心约束下）或非利普希茨模型（无需此类约束）处理非利普希茨项。
• 提出一种新的一阶最优性度量，并构建 $|x|^q$ 的双边模型，从而可有效利用奇数阶多项式进行上界估计。

提出的方法

• 算法对目标函数的光滑部分使用 $p$ 阶泰勒模型（$p$ 为奇数），对非利普希茨项 $|x_i|^q$ 使用双边模型，确保在奇点附近对函数提供全局上界估计。
• 定义了一种新的第一阶最优性度量，用于量化在存在非利普希茨奇点时 $\epsilon$-近似最优解点。
• 该方法假设可行集为“核中心”型，包括边界约束和某些结构化凸集，以确保对 $U_i$ 的零空间投影能保持可行性。
• 对于非利普希茨模型，算法将处理奇点的难度转移至子问题求解中，从而在无需核中心假设的情况下实现更广泛的应用。
• 分析中引入了一种新颖的双边模型 $T_{|\cdot|^q,p}(x_i, s_i)$，该模型具有对称性，并在 $p$ 为奇数时能有效提供 $|x_i + s_i|^q$ 的有效上界估计。
• 算法设计避免使用平滑函数，转而利用 $|x|^q$ 的内在对称性来构建鲁棒的模型。

实验结果

研究问题

• RQ1 与利普希茨情形相比，非利普希茨 $\ell_q$-范数正则化（$q \in (0,1)$）是否会导致最坏情况评估复杂度增加？
• RQ2 当 $p$ 为奇数时，能否有效使用高阶泰勒模型处理 $|x|^q$ 项？该方法是否能保持已知的复杂度界 $O(\epsilon^{-(p+1)/p})$？
• RQ3 利用问题的部分可分结构是否会影响评估复杂度的阶次？
• RQ4 当可行集非核中心型且对非利普希茨项使用泰勒模型时，复杂度界会发生什么变化？
• RQ5 当非利普希茨项在子问题中被直接建模而非通过泰勒展开近似时，复杂度界是否仍能保持？

主要发现

• 该算法对奇数阶 $p$ 阶模型实现了 $O(\epsilon^{-(p+1)/p})$ 的评估复杂度界，与纯利普希茨情形下的已知复杂度一致。
• 在核中心可行集假设下，使用泰勒模型处理非利普希茨 $\ell_q$-范数正则化项时，复杂度界依然保持不变。
• 部分可分结构不影响复杂度阶次，从而可高效利用高阶导数张量。
• 当对奇异项使用非利普希茨模型时，即使无需可行集为核中心型，复杂度界仍保持一致，但一般情况下界更差。
• 双边模型 $T_{|\cdot|^q,p}(x_i, s_i)$ 在 $p$ 为奇数时提供对称且有效的 $|x_i + s_i|^q$ 上界估计，避免了对平滑函数的依赖。
• 使用偶数阶模型处理 $|x|^q$ 存在问题，因为奇点附近正则化需求无界，将导致复杂度下降；因此，奇数阶模型是必不可少的。