[论文解读] Robust and Efficient Optimization Using a Marquardt-Levenberg Algorithm with R Package marqLevAlg

Philipps, Viviane, Hejblum, Boris P+3 more|arXiv (Cornell University)|Sep 8, 2020

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出 R 包 marqLevAlg，一种基于 Marquardt-Levenberg 方法的稳健且高效的局部优化算法，通过严格的收敛准则和并行计算导数进行增强。在复杂统计模型中，该算法可防止虚假收敛，并显著减少计算时间，尤其在高维或计算缓慢的场景下表现优异。

ABSTRACT

Implementations in R of classical general-purpose algorithms for local optimization generally have two major limitations which cause difficulties in applications to complex problems: too loose convergence criteria and too long calculation time. By relying on a Marquardt-Levenberg algorithm (MLA), a Newton-like method particularly robust for solving local optimization problems, we provide with marqLevAlg package an efficient and general-purpose local optimizer which (i) prevents convergence to saddle points by using a stringent convergence criterion based on the relative distance to minimum/maximum in addition to the stability of the parameters and of the objective function; and (ii) reduces the computation time in complex settings by allowing parallel calculations at each iteration. We demonstrate through a variety of cases from the literature that our implementation reliably and consistently reaches the optimum (even when other optimizers fail), and also largely reduces computational time in complex settings through the example of maximum likelihood estimation of different sophisticated statistical models.

研究动机与目标

• 解决现有 R 优化包的局限性，如收敛准则宽松以及在复杂模型中计算时间过长。
• 通过基于一阶和二阶导数的严格收敛准则，提高找到局部最优解的可靠性，防止收敛至鞍点。
• 通过在每次迭代中并行计算梯度和海森矩阵，显著减少高维或计算耗时的优化问题的计算时间。
• 为标准优化器（如 BFGS、L-BFGS-B 和 EM）提供一种通用、稳健且高效的替代方案，用于复杂统计模型中的最大似然估计。
• 通过真实世界统计应用（包括联合模型和混合效应模型）展示增强收敛性与并行化的 Marquardt-Levenberg 算法的优越性。

提出的方法

• 实现一种改进的 Marquardt-Levenberg 算法，通过基于曲率动态调整的海森矩阵膨胀，结合最速下降法与牛顿-拉夫森法。
• 采用优化的海森矩阵对角线膨胀：˜H(F(θ(k)))ii = H(F(θ(k)))ii + λk[(1 − ηk)|H(F(θ(k)))ii| + ηk·tr(H(F(θ(k})))], 确保正定性并收敛至真实海森矩阵。
• 应用三重收敛检验：参数稳定性、目标函数稳定性，以及相对最小距离（RDM），定义为 ∇(F)ᵀ(H⁻¹)∇(F)/m < ϵd。
• 在多个核心上并行计算一阶和二阶导数，以加速高维问题的求值。
• 使用 R 和 Fortran90 实现算法并集成至 R 包中，关键性能部分采用 Fortran90 实现，支持无约束和约束参数空间。
• 通过最大似然估计支持复杂模型（如线性混合模型、联合模型和潜变量模型）的优化。

实验结果

研究问题

• RQ1 在复杂优化问题中，采用严格收敛准则的 Marquardt-Levenberg 算法是否能有效防止收敛至鞍点？
• RQ2 在高维或计算密集型优化任务中，并行计算导数在多大程度上提升了运行时间性能？
• RQ3 在复杂统计模型中，marqLevAlg 包相较于标准 R 优化器（如 BFGS、L-BFGS-B 和 EM）在收敛可靠性和速度方面表现如何？
• RQ4 在多峰优化问题中，marqLevAlg 与网格搜索结合是否能可靠地定位全局最优解？
• RQ5 导数计算的并行化是否能使 Marquardt-Levenberg 方法在复杂模型的总运行时间上与其它优化器具有竞争力？

主要发现

• 在其他优化器（如 L-BFGS-B 和 BFGS）失败的复杂模型中，marqLevAlg 包能可靠收敛至真实最优解，尤其在高维或病态条件下表现突出。
• RDM 收敛准则（基于逆海森矩阵与梯度）能有效防止收敛至平坦区域和鞍点，显著提升解的可靠性。
• 在对线性混合模型进行估计时，由于高效并行导数计算，marqLevAlg 是所有测试优化器中速度最快的，甚至快于 optimParallel。
• 该算法通常在 30 次迭代内收敛，尽管每次迭代计算成本较高，但整体效率极高。
• 在文献中复杂模型的基准测试中，marqLevAlg 一致获得优于竞争方法的对数似然值，尤其在具有复杂关联结构的联合模型中表现更优。
• 该包成功解决了 L-BFGS-B 和 BFGS 算法因收敛准则不佳而产生次优结果的收敛问题。