[论文解读] Stochastic Optimization for DC Functions and Non-smooth Non-convex Regularizers with Non-asymptotic Convergence

Yi Xu, Qi Qi+3 more|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques被引用 24

一句话总结

本文提出了针对涉及差分凸（DC）函数以及一般非凸、不可微正则项的非凸、非光滑问题的新型随机优化算法。通过适应梯度分量的霍尔德连续性，首次建立了非渐近收敛保证，避免了对大批次数据的需求，从而实现了面向大规模数据应用的高效、用户友好的优化。

ABSTRACT

Difference of convex (DC) functions cover a broad family of non-convex and possibly non-smooth and non-differentiable functions, and have wide applications in machine learning and statistics. Although deterministic algorithms for DC functions have been extensively studied, stochastic optimization that is more suitable for learning with big data remains under-explored. In this paper, we propose new stochastic optimization algorithms and study their first-order convergence theories for solving a broad family of DC functions. We improve the existing algorithms and theories of stochastic optimization for DC functions from both practical and theoretical perspectives. On the practical side, our algorithm is more user-friendly without requiring a large mini-batch size and more efficient by saving unnecessary computations. On the theoretical side, our convergence analysis does not necessarily require the involved functions to be smooth with Lipschitz continuous gradient. Instead, the convergence rate of the proposed stochastic algorithm is automatically adaptive to the H\\"{o}lder continuity of the gradient of one component function. Moreover, we extend the proposed stochastic algorithms for DC functions to solve problems with a general non-convex non-differentiable regularizer, which does not necessarily have a DC decomposition but enjoys an efficient proximal mapping. To the best of our knowledge, this is the first work that gives the first non-asymptotic convergence for solving non-convex optimization whose objective has a general non-convex non-differentiable regularizer.

研究动机与目标

• 解决现有方法在一般正则项（超出DC分解范围）的非凸、非光滑问题中缺乏高效随机优化方法的问题。
• 克服现有随机算法在保证梯度精度时需使用大批次数据的实用限制。
• 构建一个不假设梯度Lipschitz连续性的理论框架，转而根据分量函数的霍尔德连续性自适应调整收敛速率。
• 将随机优化扩展至无法进行DC分解但可高效计算近端映射的非凸、不可微正则项问题。
• 为解决此类一般非凸正则化问题的随机算法提供首个非渐近收敛分析。

提出的方法

• 提出一种随机算法，对DC函数的不可微分部分进行线性化，并利用高效的近端映射执行近端更新。
• 引入一种自适应步长策略，依赖于一个分量函数梯度的霍尔德连续性参数ν，从而在不假设光滑性的情况下实现收敛。
• 采用一种随机逼近方案，通过不依赖高精度无偏梯度估计，避免了对大批次数据的需求。
• 通过线性化h(x)构建凸子问题，并使用自适应参数的随机近端梯度步长求解。
• 利用正则项r(x)的近端算子，即使当r(x)无法表示为DC函数时，也能高效处理不可微分部分。
• 推导出与霍尔德参数ν ∈ (0,1]成比例的收敛速率，自动适应问题分量的正则性。

实验结果

研究问题

• RQ1 能否通过消除对大批次数据的需求，使DC函数的随机优化更具实用性？
• RQ2 是否可能在不假设梯度Lipschitz连续性的前提下，实现DC随机优化的非渐近收敛？
• RQ3 能否使收敛速率自适应于一个分量函数梯度的霍尔德连续性？
• RQ4 能否将随机算法扩展至处理缺乏DC分解的一般非凸、不可微正则项？
• RQ5 在存在此类一般正则项的情况下，随机优化的首个非渐近收敛保证是什么？

主要发现

• 所提出的算法在无需假设分量函数梯度为Lipschitz连续的条件下，实现了对随机DC优化的非渐近收敛。
• 收敛速率能自动适应一个分量函数梯度的霍尔德连续性参数ν ∈ (0,1]，提升了灵活性与性能。
• 通过不依赖高精度随机梯度估计，避免了大批次数据的使用，使算法更具用户友好性与计算效率。
• 对于无法进行DC分解但具有非凸、不可微正则项的问题，该方法首次提供了非渐近收敛保证。
• 通过简单调整单一算法参数，推导出非光滑与非凸正则项的改进复杂度界。
• 通过DC分解对MCP、SCAD、LSP和截断ℓ₁等流行非凸正则项的理论分析，验证了其与所提框架的兼容性。