[论文解读] Orthogonal Deep Neural Networks

Kui Jia, Shuai Li+3 more|arXiv (Cornell University)|May 15, 2019

Sparse and Compressive Sensing Techniques参考文献 59被引用 9

一句话总结

本文提出正交深度神经网络（OrthDNNs），一种理论基础扎实的方法，通过强制实施正交权重矩阵来提升深度学习中的泛化能力和鲁棒性。通过证明深度神经网络在实际数据分布上是局部等距的，作者推导出对奇异值谱敏感的一般化误差界，表明当权重矩阵为正交时可实现最优性能；此外，作者提出了奇异值约束（SVB）和有界批量归一化（BBN），以实现高效、近似的训练，该方法在标准和损坏测试条件下均优于ImageNet上的基线模型。

ABSTRACT

In this paper, we introduce the algorithms of Orthogonal Deep Neural Networks (OrthDNNs) to connect with recent interest of spectrally regularized deep learning methods. OrthDNNs are theoretically motivated by generalization analysis of modern DNNs, with the aim to find solution properties of network weights that guarantee better generalization. To this end, we first prove that DNNs are of local isometry on data distributions of practical interest; by using a new covering of the sample space and introducing the local isometry property of DNNs into generalization analysis, we establish a new generalization error bound that is both scale- and range-sensitive to singular value spectrum of each of networks' weight matrices. We prove that the optimal bound w.r.t. the degree of isometry is attained when each weight matrix has a spectrum of equal singular values, among which orthogonal weight matrix or a non-square one with orthonormal rows or columns is the most straightforward choice, suggesting the algorithms of OrthDNNs. We present both algorithms of strict and approximate OrthDNNs, and for the later ones we propose a simple yet effective algorithm called Singular Value Bounding (SVB), which performs as well as strict OrthDNNs, but at a much lower computational cost. We also propose Bounded Batch Normalization (BBN) to make compatible use of batch normalization with OrthDNNs. We conduct extensive comparative studies by using modern architectures on benchmark image classification. Experiments show the efficacy of OrthDNNs.

研究动机与目标

• 通过将权重矩阵奇异值谱与泛化误差关联，从理论上证明谱正则化在深度神经网络中的合理性。
• 建立一个对每层权重矩阵奇异值谱的尺度和范围均敏感的新泛化误差界。
• 在局部等距约束下，识别正交权重矩阵为最小化泛化误差的最优解。
• 开发计算高效的算法——SVB和BBN——用于训练近似正交DNN，且与标准深度学习实践兼容。
• 通过实证验证OrthDNN在不同数据规模和损坏输入下的鲁棒性与泛化性能。

提出的方法

• 通过引入基于网络诱导的线性划分的新输入空间覆盖方式，证明深度神经网络在实际数据分布上是局部等距的。
• 建立一个基于PAC的泛化误差界，明确依赖于每组权重矩阵的谱范数和奇异值分布。
• 证明当每组权重矩阵的所有奇异值相等时，可达到最优泛化误差界——这表明正交或标准正交矩阵为理想解。
• 提出奇异值约束（SVB），一种在SGD训练过程中定期将每组权重矩阵的所有奇异值约束在1附近的窄带内的方法，从而实现高效近似正交性。
• 引入有界批量归一化（BBN），一种修改后的批量归一化层，通过限制归一化统计量以保持谱约束，从而与SVB兼容。
• 使用标准架构（如ResNeXt）结合SVB和BBN进行模型训练，并在标准、小样本和损坏测试设置下于ImageNet上进行评估。

实验结果

研究问题

• RQ1 能否为深度神经网络推导出一个理论上成立的泛化误差界，使其明确依赖于权重矩阵的奇异值谱？
• RQ2 在权重矩阵中强制所有奇异值相等（即正交性）是否能提升深度学习模型的泛化性能？
• RQ3 能否在不付出精确Stiefel流形优化计算成本的情况下，实现正交深度网络的高效近似训练？
• RQ4 在分布偏移或损坏数据（如ImageNet-C）上测试时，SVB和BBN的鲁棒性表现如何？
• RQ5 所提出方法在不同训练数据规模下是否保持性能优势，特别是在低数据量场景下？

主要发现

• 论文推导出的泛化误差界对每组权重矩阵的奇异值谱具有尺度和范围敏感性，当所有奇异值相等时达到最优界。
• 实验表明，在标准评估设置下，SVB和BBN相较于基线ResNeXt-101模型，将Top-1错误率降低了最多1.58%。
• 在ImageNet-C上，随着损坏严重程度增加，SVB+BBN方法在最高损坏级别下相较基线将Top-1错误率降低了最多51.26%。
• 所提方法在所有训练数据规模下均持续提升性能，尤其在低数据设置下（如1/10训练数据）观察到最大相对增益。
• 有界批量归一化使SVB训练更加稳定，并在不降低性能的前提下维持了泛化所必需的谱约束。
• 理论分析证实，深度神经网络在实际数据分布上是局部等距的，为谱正则化提供了几何基础。