[论文解读] Reproducibility in Optimization: Theoretical Framework and Limits

Kwangjun Ahn, Prateek Jain+4 more|arXiv (Cornell University)|Feb 9, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文建立了在存在噪声或不精确操作（如随机梯度和数值误差）的凸优化中量化可重现性极限的理论框架。它证明了计算成本与可重现性之间存在根本性权衡，表明较低的步长和更多的迭代次数是实现最优可重现性的必要且充分条件，并为光滑、非光滑及强凸情形推导出紧致边界。

ABSTRACT

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

研究动机与目标

• 形式化在存在噪声或不精确操作（如随机梯度和数值误差）的凸优化中可重现性的基本极限。
• 分析关键凸优化设置中的可重现性：光滑、非光滑、强凸、有限和形式及随机优化。
• 建立计算复杂度（迭代次数）与可重现性之间的理论权衡。
• 确定实际的一阶方法是否能够达到这些理论极限。

提出的方法

• 基于相同超参数但不同噪声实现下两条优化轨迹之间期望平方距离，引入可重现性的定量度量。
• 在有界区域内分析常数步长的投影梯度下降，推导在梯度噪声下的收敛性和偏差边界。
• 使用递归不等式和伸缩求和方法，对两条轨迹之间的期望平方偏差进行上界估计，同时考虑梯度噪声和初始化误差。
• 通过选择小步长和大迭代次数，推导出偏差的上界，表明此类设置可实现理论可重现性极限。
• 将该框架应用于多种凸设置，包括光滑、非光滑和强凸函数，推导出匹配的下界和上界。
• 采用集中不等式和类似鞅的论证方法，控制误差在迭代过程中的传播，从而获得紧致的偏差边界。

实验结果

研究问题

• RQ1 在存在不精确梯度或初始化噪声的凸优化中，可重现性的基本极限是什么？
• RQ2 在不同凸优化设置中，计算成本与可重现性之间的权衡如何体现？
• RQ3 标准一阶方法能否达到可重现性的理论极限？
• RQ4 步长和迭代次数在实现最优可重现性中起什么作用？
• RQ5 梯度噪声和数值误差在迭代优化过程中如何传播，其影响可被施加何种边界？

主要发现

• 计算与可重现性之间存在根本性权衡：即使在凸设置中，更高的计算成本（更多迭代）也是实现更好可重现性的必要条件。
• 对于 ε-精度，两条轨迹之间的期望平方偏差按 O(1/(ε²T) + δ²/ε²) 缩放，其中 T 为迭代次数，δ 为梯度噪声水平。
• 采用小步长和大迭代次数的投影梯度下降，在光滑、非光滑及强凸设置中均能达到理论可重现性极限。
• 可重现性的下界与标准梯度下降实现的上界相匹配，证明了极限的紧致性。
• 即使使用固定的随机种子，由于硬件层面的非确定性及数值误差，不可重现性依然存在，且无法被完全消除。
• 结果表明，正则化等高级技术无法在最优步长调优下超越简单梯度下降所能达到的可重现性水平。