[论文解读] Towards Learning Convolutions from Scratch

Behnam Neyshabur|arXiv (Cornell University)|Jul 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 11

一句话总结

该论文提出 \beta-lasso，一种新型正则化方法，通过以最小描述长度（MDL）为指导原则，使全连接网络能够从零开始学习局部、稀疏、类似卷积的连接模式。使用 \beta-lasso 训练的全连接网络在 CIFAR-10（85.19%）、CIFAR-100（59.56%）和 SVHN（94.07%）上实现了最先进性能，有效缩小了与标准卷积网络之间的性能差距，且无需依赖权重共享或局部连接等归纳偏置。

ABSTRACT

Convolution is one of the most essential components of architectures used in computer vision. As machine learning moves towards reducing the expert bias and learning it from data, a natural next step seems to be learning convolution-like structures from scratch. This, however, has proven elusive. For example, current state-of-the-art architecture search algorithms use convolution as one of the existing modules rather than learning it from data. In an attempt to understand the inductive bias that gives rise to convolutions, we investigate minimum description length as a guiding principle and show that in some settings, it can indeed be indicative of the performance of architectures. To find architectures with small description length, we propose $β$-LASSO, a simple variant of LASSO algorithm that, when applied on fully-connected networks for image classification tasks, learns architectures with local connections and achieves state-of-the-art accuracies for training fully-connected nets on CIFAR-10 (85.19%), CIFAR-100 (59.56%) and SVHN (94.07%) bridging the gap between fully-connected and convolutional nets.

研究动机与目标

• 探究卷积归纳偏置（特别是局部连接和权重共享）是否可从数据中学习，而非由网络架构强加。
• 通过最小描述长度（MDL）理论发现核心结构偏置，以减少深度学习中专家设计的归纳偏置。
• 通过训练全连接架构自主学习类似卷积的结构，弥合全连接网络与卷积网络之间的性能差距。
• 开发一种从数据中学习网络结构（如连接模式）的方法，实现对高效、局部且稀疏表示的自动发现。

提出的方法

• 提出 \beta-lasso，一种 Lasso 正则化的变体，可在保持局部连接模式的同时，促使全连接层权重呈现稀疏性。
• 采用最小描述长度（MDL）作为理论框架，指导网络结构的学习，偏好描述紧凑的模型。
• 在图像分类任务中训练全连接网络时应用 \beta-lasso，使模型在无显式卷积归纳偏置的情况下，学习到稀疏且局部连接的滤波器。
• 将训练后的网络与标准卷积网络和局部连接基线模型进行比较，评估所学滤波器的稀疏性和结构相似性。
• 通过逐层分析非零参数数量和滤波器模式，验证 \beta-lasso 确实学习到类似局部连接或卷积结构的架构。
• 将 \beta-lasso 扩展至 ResNet18，采用不同卷积核大小，证明其在自动学习最优核结构方面的适应性。

实验结果

研究问题

• RQ1 类似卷积的归纳偏置（如局部连接和权重共享）是否可从数据中学习，而非硬编码于网络架构中？
• RQ2 最小描述长度（MDL）是否可作为发现图像识别中高效、稀疏且局部结构模式的有效归纳偏置？
• RQ3 在无任何卷积架构偏置的前提下，使用 \beta-lasso 训练的全连接网络能否实现与卷积网络相当的性能？
• RQ4 与标准卷积网络和局部连接网络相比，\beta-lasso 学习到的滤波器结构在稀疏性和局部性方面有何差异？
• RQ5 \beta-lasso 是否能泛化至更深的网络架构和不同卷积核大小，自动学习最优结构模式？

主要发现

• \beta-lasso 方法使全连接网络能够学习到与局部连接和卷积网络极为相似的局部连接、稀疏滤波器模式，尽管未施加任何显式归纳偏置。
• 在 CIFAR-10 上，使用 \beta-lasso 训练的全连接网络达到 85.19% 的 top-1 准确率，超越以往全连接基线模型，接近标准卷积网络性能。
• 在 CIFAR-100 上，该方法达到 59.56% 的准确率，显著优于以往全连接方法，并缩小了与卷积模型之间的差距。
• 在 SVHN 上，该方法达到 94.07% 的准确率，表明其在多样图像数据集上具有强大泛化能力，且无架构偏置。
• \beta-lasso 学习到的滤波器具有稀疏性和局部连接特性，其模式类似于对局部图像邻域的稀疏采样，表明其有效发现了局部性。
• 使用 \beta-lasso 训练的网络中，最后一层保持密集连接，而早期层则变得越来越稀疏，表明结构模式呈现出分层学习的特性。