[论文解读] The Multilinear Structure of ReLU Networks

Thomas Laurent, James von Brecht|arXiv (Cornell University)|Dec 29, 2017

Neural Networks and Applications参考文献 19被引用 11

一句话总结

该论文揭示了使用铰链损失的ReLU网络在参数空间中表现出多线性结构，将参数空间划分为光滑的胞腔与不可微的边界。论文证明所有非平坦局部最小值均为次优（损失非零），而当存在零损失解时，平坦最小值则为全局最优——强调了非光滑分析在理解ReLU网络训练动态中的必要性。

ABSTRACT

We study the loss surface of neural networks equipped with a hinge loss criterion and ReLU or leaky ReLU nonlinearities. Any such network defines a piecewise multilinear form in parameter space. By appealing to harmonic analysis we show that all local minima of such network are non-differentiable, except for those minima that occur in a region of parameter space where the loss surface is perfectly flat. Non-differentiable minima are therefore not technicalities or pathologies; they are heart of the problem when investigating the loss of ReLU networks. As a consequence, we must employ techniques from nonsmooth analysis to study these loss surfaces. We show how to apply these techniques in some illustrative cases.

研究动机与目标

• 理解使用铰链损失的ReLU网络中损失曲面的几何与解析结构。
• 解决尽管优化景观非凸且非光滑，为何训练深层ReLU网络仍能成功这一悖论。
• 根据可微性与最优性对局部最小值的性质进行表征。
• 确立不可微最小值并非病态现象，而是ReLU网络优化行为的核心组成部分。
• 证明在可分性条件下，平坦最小值为全局最优，而尖锐最小值始终为次优

提出的方法

• 将参数空间建模为有限划分：开胞腔（激活模式恒定）与胞腔边界（不可微区域）。
• 表明损失在每个胞腔内受限为多线性形式，从而可应用调和分析与强最大值原理。
• 应用非光滑分析研究局部最小值，特别是参数空间不可微边界上的最小值。
• 利用强最大值原理证明：除非损失在某区域恒定（平坦），否则非平凡最优解必须出现在胞腔边界上。
• 在可分数据假设下分析多类铰链损失与二类铰链损失，推导最优性条件。
• 采用复制网络构造方法，证明光滑内部的局部最小值必对应于零损失解

实验结果

研究问题

• RQ1 ReLU网络使用铰链损失时是否存在可微的局部最小值？若存在，其条件为何？
• RQ2 局部最小值的可微性与其最优性在ReLU网络中存在何种关系？
• RQ3 能否利用损失曲面的多线性结构来表征局部最小值的质量？
• RQ4 在ReLU网络中使用铰链损失时，尖锐（不可微）局部最小值是否总是次优？
• RQ5 在何种条件下平坦局部最小值为全局最优？

主要发现

• 使用铰链损失的ReLU网络中，所有非平坦局部最小值均为不可微且损失严格为正。
• 位于平坦（恒定损失）区域的局部最小值若存在零损失解，则为全局最优。
• 位于不可微边界上且不邻接平坦区域的尖锐局部最小值，始终具有非零损失，因此为次优。
• 当存在零损失最小化器时，平坦最小值为全局最优，而尖锐最小值严格为次优，确立了清晰的二分法。
• 损失函数仅在光滑胞腔内部区域恒为零时，才可能在该区域取得局部最小值，这意味着全局最优。