[论文解读] Theoretical study of an adaptive cubic regularization method with dynamic inexact Hessian information

Stefania Bellavia, Gianmarco Gurioli+1 more|arXiv (Cornell University)|Aug 19, 2018

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

该论文提出了一种动态不精确海森矩阵变体的自适应立方正则化（ARC）方法，用于非凸优化，其中海森矩阵近似值根据精度与计算成本之间的权衡自适应选择。该方法在保持ARC方法最优最坏情况迭代复杂度边界的同时，通过在确定性和概率性设置下使用子采样海森矩阵信息，实现了大规模有限和最小化问题的高效求解。

ABSTRACT

We consider the Adaptive Regularization with Cubics approach for solving nonconvex optimization problems and propose a new variant based on inexact Hessian information chosen dynamically. The theoretical analysis of the proposed procedure is given. The key property of ARC framework, constituted by optimal worst-case function/derivative evaluation bounds for first- and second-order critical point, is guaranteed. Application to large-scale finite-sum minimization based on sub-sampled Hessian is discussed and analyzed in both a deterministic and probabilistic manner.

研究动机与目标

• 解决在大规模非凸优化中，立方正则化方法下精确海森矩阵计算带来的高计算成本问题。
• 开发ARC框架的一种变体，该变体基于解的进展动态选择不精确的海森矩阵信息。
• 在降低大规模设置下每次迭代成本的同时，保持ARC方法的最优最坏情况迭代复杂度。
• 分析在海森矩阵采用确定性和概率性子采样时，所提方法的收敛行为。
• 实现对机器学习和大规模优化中常见的有限和最小化问题的实际可扩展性。

提出的方法

• 该方法在优化过程中动态选择不精确的海森矩阵近似值，根据当前迭代点和向临界点的进展程度调整精度。
• 将不精确的海森矩阵信息整合到标准ARC框架中，保持立方正则化模型以实现充分下降和曲率控制。
• 动态选择机制确保海森矩阵近似值足够精确，以维持收敛保证，同时最小化计算开销。
• 通过使用子采样海森矩阵，将该方法应用于有限和问题，降低每次迭代的成本，同时保持理论边界。
• 理论分析结合了确定性和概率性框架，以界定达到一阶或二阶临界点所需的迭代次数。
• 该方法保持了ARC方法最优的最坏情况复杂度，即寻找ε-近似二阶临界点的迭代次数为O(ε⁻¹.⁵)。

实验结果

研究问题

• RQ1 是否可以在不损害收敛保证的前提下，在ARC框架中动态选择不精确的海森矩阵信息？
• RQ2 子采样海森矩阵近似值对有限和优化中最坏情况迭代复杂度有何影响？
• RQ3 在大规模非凸问题中，如何自适应地管理海森矩阵精度与计算成本之间的权衡？
• RQ4 所提方法在使用不精确海森矩阵信息时，是否仍能保持ARC方法最优的O(ε⁻¹.⁵)迭代复杂度？
• RQ5 针对动态不精确海森矩阵ARC变体，可以建立哪些概率性和确定性的收敛边界？

主要发现

• 所提方法在达到ε-近似二阶临界点时，保持了最优的最坏情况迭代复杂度O(ε⁻¹.⁵)，与原始ARC框架一致。
• 对不精确海森矩阵信息的动态选择确保了方法在不牺牲收敛保证的前提下保持鲁棒性和高效性。
• 子采样海森矩阵近似值使得该方法能够可扩展地应用于大规模有限和问题，同时保持理论性能边界。
• 理论分析证实了在确定性和概率性设置下的收敛性，并给出了海森矩阵评估次数的边界。
• 该方法通过根据问题进展自适应调整海森矩阵的不精确性，实现了精度与计算成本之间的有利权衡。
• 该框架适用于精确海森矩阵计算不可行的机器学习及其他大规模优化问题。