[论文解读] Theoretical Analysis of Inductive Biases in Deep Convolutional Networks

Zihao Wang, Lei Wu|arXiv (Cornell University)|May 15, 2023

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文对深度卷积神经网络（CNNs）的归纳偏置提供了理论分析，证明了仅需 𝒪(log d) 的深度即可实现通用性，并且 CNNs 仅需 𝒪̃(log²d) 个样本即可学习稀疏函数。该研究分离了权重重用与局部性的角色，证明由于这些归纳偏置带来的对称性破缺，CNNs 在样本效率上相比局部连接网络（LCNs）和全连接网络（FCNs）具有数量级上的优势。

ABSTRACT

In this paper, we provide a theoretical analysis of the inductive biases in convolutional neural networks (CNNs). We start by examining the universality of CNNs, i.e., the ability to approximate any continuous functions. We prove that a depth of $\mathcal{O}(\log d)$ suffices for deep CNNs to achieve this universality, where $d$ in the input dimension. Additionally, we establish that learning sparse functions with CNNs requires only $\widetilde{\mathcal{O}}(\log^2d)$ samples, indicating that deep CNNs can efficiently capture {\em long-range} sparse correlations. These results are made possible through a novel combination of the multichanneling and downsampling when increasing the network depth. We also delve into the distinct roles of weight sharing and locality in CNNs. To this end, we compare the performance of CNNs, locally-connected networks (LCNs), and fully-connected networks (FCNs) on a simple regression task, where LCNs can be viewed as CNNs without weight sharing. On the one hand, we prove that LCNs require $Ω(d)$ samples while CNNs need only $\widetilde{\mathcal{O}}(\log^2d)$ samples, highlighting the critical role of weight sharing. On the other hand, we prove that FCNs require $Ω(d^2)$ samples, whereas LCNs need only $\widetilde{\mathcal{O}}(d)$ samples, underscoring the importance of locality. These provable separations quantify the difference between the two biases, and the major observation behind our proof is that weight sharing and locality break different symmetries in the learning process.

研究动机与目标

• 为了从理论上理解为何在表示能力相近的情况下，CNNs 在视觉任务中仍优于全连接网络（FCNs）。
• 通过与局部连接网络（LCNs）对比，分离并量化权重重用与局部性在 CNNs 中的独立贡献。
• 在最小深度下建立深度 CNNs 的通用性，并分析学习稀疏函数的样本复杂度。
• 证明多通道结构与下采样在实现对数深度通用性及高效学习长程相关性方面是必不可少的。

提出的方法

• 通过新颖的多通道结构与下采样结合，证明了深度 CNNs 的通用性，表明下采样可指数级扩展感受野。
• 利用多通道结构在空间下采样过程中保留信息，确保深度推进过程中无信息损失。
• 设计了一个合成回归任务，用于对比 CNNs、LCNs 和 FCNs，从而分离权重重用与局部性的影响。
• 应用统计学习理论推导样本复杂度边界，使用集中不等式和参数差异的 Frobenius 范数边界。
• 采用柯西-施瓦茨不等式与高斯尾部边界，推导泛化误差的下界，将参数距离与函数距离关联起来。
• 通过证明若无下采样，CNNs 实现通用性需 Ω(d) 深度，从而建立深度的下界，证明下采样的必要性。

实验结果

研究问题

• RQ1 深度 CNNs 是否能在输入维度 d 的对数深度 𝒪(log d) 内实现通用性？哪些结构组件促成了这一点？
• RQ2 学习稀疏函数时，CNNs 的样本复杂度如何随 d 变化？是否接近最优？
• RQ3 权重重用与局部性在深度网络中对样本效率的独立贡献分别是什么？
• RQ4 为何 CNNs 在学习需要长程相关性的任务时优于 LCNs 和 FCNs？
• RQ5 多通道结构、下采样、权重重用与局部性之间的协同作用能否在理论上与泛化性能的提升相联系？

主要发现

• 仅需 𝒪(log d) 的深度，深度 CNNs 即可通用逼近任意连续函数，相比先前工作所需 Ω(d) 深度有显著改进。
• 若无下采样，CNNs 实现通用性需 Ω(d) 深度，证明下采样对于实现对数深度通用性至关重要。
• 使用 CNNs 学习稀疏函数仅需 𝒪̃(log²d) 个样本，与信息论下界 Ω(log d) 相比近乎最优。
• CNNs 仅需 𝒪(k² log d) 个总参数即可学习任意 k-稀疏函数，相比 LASSO 在线性情形下需 Ω(d) 参数，有显著改进。
• LCNs 需要 Ω(d) 个样本才能学习相同任务，而 CNNs 仅需 𝒪̃(log²d) 个样本，证明权重重用对样本效率至关重要。
• FCNs 需要 Ω(d²) 个样本，而 LCNs 仅需 𝒪̃(d) 个样本，表明局部性（小感受野）是降低样本复杂度的关键。