[论文解读] On the Impossibility of Global Convergence in Multi-Loss Optimization

Alistair Letcher|arXiv (Cornell University)|May 26, 2020

Advanced Bandit Algorithms Research参考文献 38被引用 9

一句话总结

本文证明，在温和正则性条件下，多损失优化中的全局收敛性在本质上是不可能的，即使对于理论上合理的算法也是如此。通过构建一个具有解析性、强制性损失的双人零和博弈，且其唯一临界点为严格极大值，作者表明：任何避免严格极大值的合理算法，要么发散，要么循环，从而排除了全局收敛的可能性——揭示了多智能体机器学习优化中的一个核心限制。

ABSTRACT

Under mild regularity conditions, gradient-based methods converge globally to a critical point in the single-loss setting. This is known to break down for vanilla gradient descent when moving to multi-loss optimization, but can we hope to build some algorithm with global guarantees? We negatively resolve this open problem by proving that desirable convergence properties cannot simultaneously hold for any algorithm. Our result has more to do with the existence of games with no satisfactory outcomes, than with algorithms per se. More explicitly we construct a two-player game with zero-sum interactions whose losses are both coercive and analytic, but whose only simultaneous critical point is a strict maximum. Any 'reasonable' algorithm, defined to avoid strict maxima, will therefore fail to converge. This is fundamentally different from single losses, where coercivity implies existence of a global minimum. Moreover, we prove that a wide range of existing gradient-based methods almost surely have bounded but non-convergent iterates in a constructed zero-sum game for suitably small learning rates. It nonetheless remains an open question whether such behavior can arise in high-dimensional games of interest to ML practitioners, such as GANs or multi-agent RL.

研究动机与目标

• 探究在标准梯度方法已知失效的情况下，是否仍可实现多损失优化中的全局收敛性保证。
• 识别多智能体学习设置中阻碍全局收敛的根本结构性障碍。
• 构造一个具有强制性、解析性损失且唯一临界点为严格极大值的反例博弈。
• 证明任何避免严格极大值的算法在该设定下无法实现全局收敛。
• 表明在小常数学习率下，一大类基于梯度的方法几乎必然产生有界但不收敛的迭代序列。

提出的方法

• 构建一个具有解析性和强制性损失函数的双人零和博弈，确保其唯一临界点为严格极大值。
• 证明任何避免严格极大值的算法，由于定义上不允许收敛至极大值，必然无法实现全局收敛。
• 使用测度论论证表明，导致收敛至原点（即极大值）的初始条件集合的勒贝格测度为零。
• 应用反函数定理与利普希茨连续性，建立更新映射为局部微分同胚，从而支持对迭代序列的分析。
• 证明在小常数学习率下，迭代序列的有界性意味着几乎必然不收敛，原因在于收敛集合的测度为零。
• 基于势能进展度量的单调性与波尔查诺-魏尔斯特拉斯定理，使用反证法表明：对于合理算法，收敛至唯一临界点是不可能的。

实验结果

研究问题

• RQ1 在温和正则性条件下，是否存在任何基于梯度的算法可在多损失优化中实现全局收敛？
• RQ2 在具有强制性、解析性损失的多智能体博弈中，是否存在根本性的结构性障碍，导致无法实现全局收敛？
• RQ3 能否构造一个博弈，使得其唯一临界点为严格极大值，从而使得收敛至该点既不理想也因而被合理算法所避免？
• RQ4 在这些病态博弈中，标准基于梯度的方法在常数学习率下是否表现出有界但不收敛的行为？
• RQ5 在唯一临界点为严格极大值的博弈中，合理算法是否可能存在一个单调且有下界的进展度量？

主要发现

• 构造了一个具有解析性和强制性损失的双人零和博弈，其唯一临界点为严格极大值。
• 任何避免收敛至严格极大值的算法，在该博弈中均无法实现全局收敛，因为唯一临界点并非极小化点。
• 对于所考虑算法类中的所有算法，导致收敛至原点的初始条件集合的勒贝格测度为零。
• 在足够小的常数学习率下，所有算法几乎必然产生有界但不收敛的迭代序列。
• 若存在一个单调且有下界的进展度量，则在收敛假设下将导致矛盾，从而证明收敛不可能发生。
• 该结果对确定性和随机算法均成立，并可推广至包括EG、OMD、AGD、CO、CGD、SGA和LOLA在内的广泛梯度基方法类。