[论文解读] Universality in halting time and its applications in optimization

Levent Sagun, Thomas Trogdon+1 more|arXiv (Cornell University)|Nov 19, 2015

Blind Source Separation Techniques参考文献 16被引用 4

一句话总结

本文在自旋玻璃和深度学习等不同优化算法中识别出停止时间的普遍分布。它揭示了两类普适性类：极值型（Gumbel-like）和正态型（Gaussian-like），表明停止时间波动在输入变化下保持不变，为理解优化动力学提供了统一框架。

ABSTRACT

The authors present empirical universal distributions for the halting time (measured by the number of iterations to reach a given accuracy) of optimization algorithms applied to two random systems: spin glasses and deep learning. Given an algorithm, which we take to be both the optimization routine and the form of the random landscape, the fluctuations of the halting time follow a distribution that remains unchanged even when the input is changed drastically. We observe two main universality classes, a Gumbel-like distribution that appears in Google searches, human decision times, QR factorization and spin glasses, and a Gaussian-like distribution that appears in conjugate gradient method, deep network with MNIST input data and deep network with random input data.

研究动机与目标

• 研究优化中的停止时间分布是否在不同随机系统和算法间具有普适性。
• 确定达到给定精度所需的迭代次数分布是否在输入发生剧烈变化时保持不变。
• 基于停止时间统计特性，对优化算法进行分类，划分为不同的普适性类。
• 探讨普遍停止时间行为对机器学习和统计物理中算法设计与性能预测的启示。

提出的方法

• 在自旋玻璃和深度神经网络两类随机系统上，对多种优化算法的停止时间（达到目标精度所需的迭代次数）进行经验分析。
• 使用同一算法作为优化过程和随机景观生成器，以隔离分布行为。
• 通过在不同输入下测量停止时间的波动，检验其不变性与普适性。
• 基于经验拟合与统计特性，将观测到的分布分类为两类主要类型：极值型与正态型。
• 在多种系统间进行比较，包括谷歌搜索、人类决策时间、QR分解、共轭梯度法，以及使用MNIST数据和随机数据的深度网络。
• 应用统计分析，验证在输入扰动下所观测分布的稳定性和普适性。

实验结果

研究问题

• RQ1 当输入系统发生剧烈变化时，优化中的停止时间分布是否保持不变？
• RQ2 能否基于停止时间统计特性，将优化算法划分为不同的普适性类？
• RQ3 在不同系统和算法中，停止时间波动会呈现出何种分布类型？
• RQ4 已知现象如人类决策时间与谷歌搜索时间，在统计特性上与自旋玻璃和深度学习中的优化行为在多大程度上具有相似性？
• RQ5 共轭梯度法与使用不同输入类型（MNIST与随机数据）的深度网络在停止时间分布行为上存在哪些差异？

主要发现

• 优化算法的停止时间波动表现出在剧烈输入变化下保持不变的普遍分布。
• 识别出两类主要普适性类：极值型分布出现在谷歌搜索、人类决策时间、QR分解和自旋玻璃中。
• 正态型分布在共轭梯度法、在MNIST上训练的深度网络以及使用随机输入数据的深度网络中被发现。
• 停止时间分布的普适性表明，在看似无关的系统和算法之间存在共同的底层统计机制。
• 所观测到的分布对不同优化过程和随机景观类型均具有鲁棒性，表明收敛动力学中存在深层次的结构相似性。
• 这些发现意味着停止时间行为可独立于系统特定细节进行预测与分类，从而为算法设计提供更广泛的洞察。