[论文解读] Revisiting Landscape Analysis in Deep Neural Networks: Eliminating Decreasing Paths to Infinity

Shiyu Liang, Ruoyu Sun+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 64被引用 11

一句话总结

本文通过引入一种综合正则化器，提出了一种针对过参数化深度神经网络的新型景观分析框架，该正则化器可同时消除次优局部极小值和通向无穷的下降路径。通过利用利普希茨映射证明不良正则化器构成零测度集合，作者证明了对于一大类网络，梯度下降能以零训练误差收敛至全局极小值，从而解决了深度学习优化理论中的一个关键空白。

ABSTRACT

Traditional landscape analysis of deep neural networks aims to show that no sub-optimal local minima exist in some appropriate sense. From this, one may be tempted to conclude that descent algorithms which escape saddle points will reach a good local minimum. However, basic optimization theory tell us that it is also possible for a descent algorithm to diverge to infinity if there are paths leading to infinity, along which the loss function decreases. It is not clear whether for non-linear neural networks there exists one setting that no bad local-min and no decreasing paths to infinity can be simultaneously achieved. In this paper, we give the first positive answer to this question. More specifically, for a large class of over-parameterized deep neural networks with appropriate regularizers, the loss function has no bad local minima and no decreasing paths to infinity. The key mathematical trick is to show that the set of regularizers which may be undesirable can be viewed as the image of a Lipschitz continuous mapping from a lower-dimensional Euclidean space to a higher-dimensional Euclidean space, and thus has zero measure.

研究动机与目标

• 解决一个未解问题：尽管深度神经网络的损失景观中不存在不良局部极小值，但下降算法仍可能发散至无穷远。
• 正式建立‘无不良局部极小值’与‘无通向无穷的下降路径’在深度神经网络中同时存在的条件。
• 证明对于具有适当正则化器的过参数化网络，梯度下降能收敛至全局极小值且训练误差为零。
• 表明问题正则化器的集合是可忽略的（零测度），从而确保在通用网络配置下具有鲁棒性。

提出的方法

• 在所有权重参数上引入一个三次正则化器，以约束参数空间并防止发散至无穷远。
• 利用从低维空间到参数空间的利普希茨连续映射，刻画不良正则化器的集合，并证明其在参数空间中为零测度。
• 证明在该正则化损失函数下，任意局部极小值均具有零训练误差，因此为全局最优。
• 利用过参数化确保插值解的存在性，避免次优极小值。
• 通过ReLU网络的构造性插值论证，表明在温和假设下数据可被完美拟合并保持正边界，从而支持景观分析。
• 通过扰动技术分析损失景观，证明任何隐藏层激活范数为零的临界点均为鞍点而非局部极小值。

实验结果

研究问题

• RQ1 是否可能使深度神经网络的损失景观同时既无次优局部极小值，也无通向无穷的下降路径？
• RQ2 是否可能设计一种正则化器，在消除发散路径的同时不引入新的不良局部极小值？
• RQ3 具有此类正则化器的过参数化深度网络是否能保证梯度下降收敛至全局极小值？
• RQ4 可能破坏期望景观特性的正则化器在测度论上的性质是什么？

主要发现

• 对于一大类在所有权重上施加三次正则化器的过参数化深度神经网络，损失函数中不存在次优局部极小值。
• 可能引入不良局部极小值或通向无穷的下降路径的正则化器集合在参数空间中为零测度，因此可忽略。
• 在正则化损失函数下，所有局部极小值均实现零训练误差，意味着全局最优。
• 由于正则化器对所有权重参数的约束，通向无穷的下降路径被消除，从而防止发散。
• 在温和假设下，大小为 n+1 的单层ReLU网络可对任意数据集进行插值，从而支持全局最优景观的构建。
• 理论分析确认，任何隐藏层权重范数为零的临界点均为鞍点而非局部极小值，从而确保能逃离不良解。