[论文解读] On the Depth of Deep Neural Networks: A Theoretical View

Shizhao Sun, Wei Chen+3 more|arXiv (Cornell University)|Jun 17, 2015

Adversarial Robustness in Machine Learning参考文献 32被引用 6

一句话总结

本文通过使用边界界分析，理论研究了深度神经网络（DNNs）中深度的理论作用，揭示出一种权衡：更深的网络会增加Rademacher平均值（RA），从而损害泛化性能，但同时也能提升表征能力，降低经验边界误差。为平衡这一权衡，作者提出了基于边界惩罚项的大型边界DNN（LMDNN），在MNIST和CIFAR-10数据集上显著提升了测试准确率，实证验证了该理论。

ABSTRACT

People believe that depth plays an important role in success of deep neural networks (DNN). However, this belief lacks solid theoretical justifications as far as we know. We investigate role of depth from perspective of margin bound. In margin bound, expected error is upper bounded by empirical margin error plus Rademacher Average (RA) based capacity term. First, we derive an upper bound for RA of DNN, and show that it increases with increasing depth. This indicates negative impact of depth on test performance. Second, we show that deeper networks tend to have larger representation power (measured by Betti numbers based complexity) than shallower networks in multi-class setting, and thus can lead to smaller empirical margin error. This implies positive impact of depth. The combination of these two results shows that for DNN with restricted number of hidden units, increasing depth is not always good since there is a tradeoff between positive and negative impacts. These results inspire us to seek alternative ways to achieve positive impact of depth, e.g., imposing margin-based penalty terms to cross entropy loss so as to reduce empirical margin error without increasing depth. Our experiments show that in this way, we achieve significantly better test performance.

研究动机与目标

• 通过边界界理论分析深度对DNN泛化性能的影响。
• 识别深度的双重作用：提升表征能力，但同时增加Rademacher平均值（RA），从而损害测试性能。
• 通过提出替代方法在不增加深度的前提下实现类似深度的收益，以解决该权衡问题。
• 通过实证验证，表明基于边界的正则化方法可使测试性能优于标准DNN。

提出的方法

• 推导多分类设置下DNN的Rademacher平均值（RA）上界，表明其随深度增加而上升。
• 使用基于贝蒂数的复杂度度量表征能力，证明更深的网络具有更高的复杂度。
• 通过在交叉熵损失中添加基于边界的惩罚项，提出两种大型边界DNN（LMDNN）算法：一种使用边界违反项的L2范数（C1），另一种使用L1范数（C2）。
• 使用反向传播训练模型，以最小化经验边界误差，同时控制模型容量。
• 采用经过充分调优的网络架构（MNIST使用LeNet，CIFAR-10使用AlexNet），报告10次随机初始化下的平均测试误差。
• 在不同边界惩罚系数（λ）下评估性能，以研究超参数敏感性。

实验结果

研究问题

• RQ1 在DNN中增加深度是否总是能提升测试性能，还是存在权衡？
• RQ2 深度如何影响边界界中的Rademacher平均值（RA）项，其对泛化性能有何影响？
• RQ3 多深的网络能因更强的表征能力而显著降低经验边界误差？
• RQ4 基于边界的正则化能否在不增加深度的前提下实现优于标准DNN的测试性能？
• RQ5 所提出的LMDNN方法对边界惩罚系数λ的选择有多敏感？

主要发现

• 边界界中的Rademacher平均值（RA）项随深度增加而上升，表明其对泛化性能有负面影响。
• 更深的网络表现出显著更高的基于贝蒂数的复杂度，表明其具有更强的表征能力，且经验边界误差更低。
• LMDNN-C1将MNIST的测试误差从0.899%降低至0.734%，CIFAR-10的测试误差从18.339%降低至17.598%，实现了显著的性能提升。
• LMDNN-C2将MNIST的测试误差降低至0.736%，CIFAR-10降低至17.728%，显示出在标准DNN之上的一致性改进。
• LMDNN的实证边界误差始终低于标准DNN，且该降低与测试性能的提升密切相关。
• 存在一个最优的λ范围，使LMDNN优于标准DNN；当λ过大时，由于边界惩罚项优化不佳，性能会下降。