[论文解读] The Singular Values of Convolutional Layers

Hanie Sedghi, Vineet Gupta+1 more|arXiv (Cornell University)|May 26, 2018

Matrix Theory and Algorithms被引用 59

一句话总结

本文提供了多通道二维卷积层奇异值的精确、有效表征，使得在实践中能够进行精确的算子范数投影与正则化。它展示了在使用算子范数正则化的卷积神经网络上 CIFAR-10 的准确率提升。

ABSTRACT

We characterize the singular values of the linear transformation associated with a standard 2D multi-channel convolutional layer, enabling their efficient computation. This characterization also leads to an algorithm for projecting a convolutional layer onto an operator-norm ball. We show that this is an effective regularizer; for example, it improves the test error of a deep residual network using batch normalization on CIFAR-10 from 6.2\% to 5.3\%.

研究动机与目标

• 激发并量化卷积层的算子范数（谱范数）如何影响训练动力学和泛化。
• 推导出计算多通道二维卷积层奇异值的精确、高效方法。
• 提出并评估通过将卷积层投影到算子范数球来进行算子范数正则化的方法。
• 在标准基准上展示算子范数控制的实际收益（例如使用 ResNet 的 CIFAR-10）

提出的方法

• 将卷积表示为二维卷积的双重循环块矩阵。
• 表明卷积的奇异值等于卷积核二维傅里叶变换的幅值。
• 通过为每个 (u,v) 构建小的 m×m 矩阵并取它们奇异值的并集，扩展到多通道卷积。
• 提出通过截断线性算子的奇异值来对算子范数球进行精确投影的方法。
• 提供 NumPy/TensorFlow 实现，通过 FFT 和小型 SVD 高效计算奇异值，并与全矩阵 SVD 进行比较。

实验结果

研究问题

• RQ1 一个二维多通道卷积层的精确谱（奇异值集合）是什么？
• RQ2 是否可以在不形成完整线性变换矩阵的情况下高效计算该谱？
• RQ3 将卷积层投影到算子范数球是否在实践中提高泛化？
• RQ4 算子范数正则化与现代架构中的批量归一化如何相互作用？

主要发现

• 卷积层的奇异值可以精确地计算为卷积核切片的二维傅里叶变换的幅值。
• 对于多通道层，完整谱是由 F^T K F 推导出的所有 (u,v) 的 m×m 矩阵 P^(u,v) 的奇异值的并集。
• 基于FFT的计算时间复杂度为 O(n^2 m^2 (m + log n))，远快于对完整算子进行全SVD。
• 将卷积层投影到算子范数球在 ResNet-32 架构中将 CIFAR-10 测试误差从 6.2% 提升到 5.3%。
• 算子范数正则化是对批量归一化的补充，而非冗余。
• 对重新整形的 K 的范数进行裁剪（先前的启发式）可能不如精确方法高效，在某些设置中也具备竞争力。