[论文解读] Norm-Based Capacity Control in Neural Networks

Behnam Neyshabur, Ryota Tomioka+1 more|arXiv (Cornell University)|Feb 27, 2015

Machine Learning and ELM参考文献 5被引用 76

一句话总结

本文提出了一种适用于前馈神经网络的一般范数正则化框架，通过组范数正则化实现与网络规模无关的容量控制，表明只有特定的范数——每个单元的 ℓ₁ 范数或整体的 ℓ₂ 范数——才能实现此类控制。研究证明，即使在范数正则化下，深度仍会在泛化界中引发不可避免的指数依赖关系。

ABSTRACT

We investigate the capacity, convexity and characterization of a general family of norm-constrained feed-forward networks.

研究动机与目标

• 探究仅通过基于范数的正则化是否足以控制深度前馈网络的容量，而无需显式控制网络规模或深度。
• 刻画基于范数的正则化在何种条件下可导致凸假设类，从而简化优化与分析。
• 确定在何种条件下可实现与网络规模无关的容量控制，特别是针对更深的网络。
• 分析不同范数正则化器（每个单元 vs. 整体）对泛化与表达能力的影响及其相互关系。
• 理解深度、范数约束与泛化误差之间固有的权衡关系。

提出的方法

• 提出统一的组范数正则化框架：在每个单元内对权重施加 ℓp 范数，再对单元间施加 ℓq 范数，从而推广了每个单元和整体的正则化形式。
• 利用 Rademacher 复杂度分析所得假设类，以界定向泛化误差，重点关注范数约束与网络深度之间的相互作用。
• 建立每个单元 ℓ₁ 正则化与一种新型基于路径的正则化器之间的联系，为权重范数约束提供了新的解释。
• 证明两层网络中的整体 ℓ₂ 正则化等价于凸神经网络（Bengio et al., 2005），并与现有的凸优化框架建立联系。
• 通过归纳论证与反例表明，即使在范数约束下，ReLU 网络的泛化界仍表现出对深度的指数依赖，该依赖无法避免。
• 应用对称凸包与 ReLU 激活操作，分析函数类在各层间的演化，揭示归纳复杂度界存在的局限性。

实验结果

研究问题

• RQ1 仅通过基于范数的正则化是否足以控制深度前馈网络的容量，而无需显式控制网络规模或深度？
• RQ2 在何种条件下，基于范数的正则化可导致凸假设类？这又如何影响优化与泛化？
• RQ3 是否可能通过每个单元的 ℓp 正则化（p > 1）或整体的 ℓp 正则化（p > 2）实现与规模无关的容量控制？
• RQ4 在范数约束下，网络深度如何影响泛化误差？这种依赖关系能否被避免？
• RQ5 γ-度量（基于路径的范数）与μ-度量（基于凸包的范数）之间存在何种关系？它们如何影响优化动力学？

主要发现

• 只有每个单元的 ℓ₁ 正则化才能在深层网络中实现与规模无关的容量控制。
• 整体 ℓp 正则化仅在 p ≤ 2 时允许与规模无关的容量控制，即使深度有界亦如此。
• 即使采用整体 ℓ₂ 正则化，泛化误差仍表现出对深度的指数依赖，且该依赖无法避免。
• 在特定范数约束下（如迹范数或最大范数的类比）下，范数约束网络所诱导的假设类才为凸。
• 先取对称凸包再应用 ReLU 激活的操作可能增加 Rademacher 复杂度，从而破坏避免指数深度依赖的归纳论证。
• 反例表明，[凸包]₊ 操作可增加 Rademacher 复杂度，证明在一般范数约束下，深度相关的指数爆炸是不可避免的。