[论文解读] Super-efficiency of automatic differentiation for functions defined as a minimum

Pierre Ablin, Gabriel Peyré+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques被引用 17

一句话总结

本文分析了针对最小值结构函数的三种梯度估计器，表明通过迭代求解器进行自动微分（AD）的反向传播表现出超效率：其误差随解析估计器误差的平方缩放。当求解器呈现次线性收敛时，AD估计器收敛更快，但计算成本更高，因此在求解器线性收敛时，解析估计器更为优选。

ABSTRACT

In min-min optimization or max-min optimization, one has to compute the gradient of a function defined as a minimum. In most cases, the minimum has no closed-form, and an approximation is obtained via an iterative algorithm. There are two usual ways of estimating the gradient of the function: using either an analytic formula obtained by assuming exactness of the approximation, or automatic differentiation through the algorithm. In this paper, we study the asymptotic error made by these estimators as a function of the optimization error. We find that the error of the automatic estimator is close to the square of the error of the analytic estimator, reflecting a super-efficiency phenomenon. The convergence of the automatic estimator greatly depends on the convergence of the Jacobian of the algorithm. We analyze it for gradient descent and stochastic gradient descent and derive convergence rates for the estimators in these cases. Our analysis is backed by numerical experiments on toy problems and on Wasserstein barycenter computation. Finally, we discuss the computational complexity of these estimators and give practical guidelines to chose between them.

研究动机与目标

• 比较三种梯度估计器在函数定义为最小值时的渐近收敛速率：解析法、自动微分（AD）和隐函数法。
• 分析迭代求解器的收敛性如何影响AD估计器的误差，特别是迭代映射的雅可比矩阵的作用。
• 在强凸设置下，推导梯度下降和随机梯度下降中AD估计器的理论收敛速率。
• 在Wasserstein重心计算等实际场景中，评估估计精度与计算成本之间的权衡。
• 根据求解器收敛速度和计算预算，提供选择估计器的实际指导。

提出的方法

• 提出三种梯度估计器：解析法（代入近似最小值点）、自动微分法（通过求解器反向传播）和隐函数法（利用隐函数定理）。
• 使用一阶展开推导渐近误差界，表明AD估计器的误差为 o(|zt − z*|)，而解析估计器的误差为 O(|zt − z*|)。
• 利用Gilbert（1992）的工具分析雅可比矩阵 ∂zt/∂x 的收敛性，在强凸情况下建立梯度下降和随机梯度下降的误差界。
• 将理论框架应用于基于Sinkhorn算法的Wasserstein重心问题，通过镜像下降优化比较估计器性能。
• 在小规模问题和真实应用场景中开展数值实验，验证收敛速率和计算成本的权衡。
• 推导计算复杂度比较，表明AD每轮迭代的计算成本约为解析估计器的两倍。

实验结果

研究问题

• RQ1 当最小值通过迭代求解器近似时，解析法、自动微分法和隐函数梯度估计器的渐近误差如何比较？
• RQ2 自动微分估计器的误差如何依赖于求解器迭代的收敛速率及其雅可比矩阵？
• RQ3 在梯度下降与随机梯度下降下，梯度估计器的收敛速率有何差异？
• RQ4 在实际优化设置中，自动微分的超效率是否值得承担更高的计算成本？
• RQ5 在Wasserstein重心计算等非平凡问题中，理论收敛速率能否在实践中被观察到？

主要发现

• 自动微分估计器表现出超效率：其误差在渐近意义上小于解析估计器，缩放关系为 o(|zt − z*|) 对比 O(|zt − z*|)。
• 隐函数估计器的误差缩放为 O(|zt − z*|²)，因此渐近精度最高，但因每步需求解线性系统而计算成本更高。
• 在强凸情况下使用梯度下降时，雅可比矩阵 ∂zt/∂x 线性收敛，导致AD估计器的误差为 O(|zt − z*|)。
• 在常数步长的随机梯度下降中，解析估计器的噪声水平缩放为 √ρ，而AD和隐函数估计器的噪声水平缩放为 ρ，证实AD收敛更快。
• 当步长减小至 ρt ∝ t⁻⁰·⁸ 时，AD和隐函数估计器的收敛速度为 O(t⁻⁰·⁸)，而解析估计器为 O(√t⁻⁰·⁸)，验证了理论速率。
• 在Wasserstein重心实验中，AD在每轮内迭代中表现出更快的误差衰减，但因每轮计算成本更低，解析估计器整体效率更高。