[论文解读] On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization

Pengtao Xie, Yuntian Deng+1 more|arXiv (Cornell University)|Nov 23, 2015

Neural Networks and Applications参考文献 52被引用 23

一句话总结

本文提出一种使用互角正则化（MAR-NN）的多样化神经网络，通过平衡估计误差与近似误差来提升泛化性能。理论分析表明，增加隐藏单元多样性可降低估计误差，但会增加近似误差，最优泛化性能出现在多样性水平平衡时，该结论在神经网络上通过实证验证，准确率显著提升。

ABSTRACT

Recently diversity-inducing regularization methods for latent variable models (LVMs), which encourage the components in LVMs to be diverse, have been studied to address several issues involved in latent variable modeling: (1) how to capture long-tail patterns underlying data; (2) how to reduce model complexity without sacrificing expressivity; (3) how to improve the interpretability of learned patterns. While the effectiveness of diversity-inducing regularizers such as the mutual angular regularizer has been demonstrated empirically, a rigorous theoretical analysis of them is still missing. In this paper, we aim to bridge this gap and analyze how the mutual angular regularizer (MAR) affects the generalization performance of supervised LVMs. We use neural network (NN) as a model instance to carry out the study and the analysis shows that increasing the diversity of hidden units in NN would reduce estimation error and increase approximation error. In addition to theoretical analysis, we also present empirical study which demonstrates that the MAR can greatly improve the performance of NN and the empirical observations are in accordance with the theoretical analysis.

研究动机与目标

• 理论分析多样性诱导正则化（特别是互角正则化，MAR）对神经网络泛化性能的影响。
• 解决在潜在变量模型中，促进多样性的正则化方法在实践中取得成功但缺乏严谨理论理解的问题。
• 建立隐藏单元多样性与估计误差和近似误差之间权衡关系的理论模型。
• 通过在神经网络性能上的实证实验验证理论发现。

提出的方法

• 提出一种带有互角正则化（MAR-NN）的多样化神经网络架构，其中正则化项通过惩罚隐藏单元权重向量之间的小角度来强制实现多样性。
• 采用理论框架将泛化误差分解为估计误差与近似误差两部分，分析其对隐藏单元多样性水平的依赖关系。
• 推导估计误差与近似误差的边界，表明增加多样性可降低估计误差但会增加近似误差。
• 在分类任务上对MAR-NN进行实证评估，比较其在不同正则化强度（λ）下与标准神经网络的性能表现。
• 通过优化正则化超参数λ，寻找使整体泛化误差最小化的多样性水平。

实验结果

研究问题

• RQ1 互角正则化如何影响神经网络中的估计误差与近似误差？
• RQ2 随着隐藏单元多样性的增加，估计误差与近似误差之间的权衡关系如何变化？
• RQ3 能否识别出使整体泛化误差最小化的最优多样性水平？
• RQ4 理论预测在最优多样性水平下泛化性能将得到提升，这一预测在实践中是否成立？

主要发现

• 在神经网络中增加隐藏单元的多样性可降低估计误差边界，但会提高近似误差边界。
• 当多样性水平设置为最优值时，整体泛化误差达到最小，此时估计误差与近似误差达到最佳权衡。
• 实证结果表明，MAR-NN将200个神经元的神经网络测试准确率从约0.415（未正则化）提升至0.45，性能显著提高。
• 最优正则化强度λ=0.01实现了最佳准确率，与理论预测的最优多样性水平一致。
• 实证观察与理论分析一致，证实通过MAR控制多样性可有效提升泛化性能。