[论文解读] SimNets: A Generalization of Convolutional Networks

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|Oct 3, 2014

Advanced Neural Network Applications参考文献 28被引用 18

一句话总结

SimNets 通过引入一种推广卷积神经网络的相似性算子，扩展了卷积操作，并提出了一种新型的 MEX（软最大-最小-平均）激活函数，该函数推广了 ReLU 和池化操作。该架构在参数量仅为同类 ConvNets 的 1/9 的情况下实现了最先进（SOTA）的准确率，支持自然的无监督初始化，并且相比核机器具有更高的抽象层次。

ABSTRACT

We present a deep layered architecture that generalizes classical convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators, one being a similarity function whose family contains the convolution operator used in ConvNets, and the other is a new soft max-min-mean operator called MEX that realizes classical operators like ReLU and max pooling, but has additional capabilities that make SimNets a powerful generalization of ConvNets. Three interesting properties emerge from the architecture: (i) the basic input to hidden layer to output machinery contains as special cases kernel machines with the Exponential and Generalized Gaussian kernels, the output units being "neurons in feature space" (ii) in its general form, the basic machinery has a higher abstraction level than kernel machines, and (iii) initializing networks using unsupervised learning is natural. Experiments demonstrate the capability of achieving state of the art accuracy with networks that are an order of magnitude smaller than comparable ConvNets.

研究动机与目标

• 开发一种深层架构，通过将卷积神经网络的核心操作提升到更具抽象性的核类似框架，从而推广经典 ConvNets。
• 通过引入基于无标签数据的自然初始化方案，解决 ConvNets 在模型紧凑性方面的局限性以及缺乏有效无监督初始化的问题。
• 通过将核方法（例如，带指数核和广义高斯核的 SVM）嵌入深层网络结构中，弥合核机器与深度学习之间的差距。
• 通过无监督特征模式的方差分析，实现网络深度和通道数的自动确定。
• 证明所提出的架构能够在远少于当前最先进 ConvNets 的参数量下，实现优越或相当的性能。

提出的方法

• 引入一种相似性算子，通过可学习权重的 $ l_p $-范数推广卷积内积操作，从而在假设空间上超越标准核机器。
• 提出 MEX 算子——一种软最大-最小-平均函数——以推广 ReLU 和池化层，其可学习偏置允许在特征表示中引入基于局部性的偏差。
• 将网络形式化为多层核网络，其中每一层按顺序应用相似性和 MEX 算子，从而实现比传统 ConvNet 层更高的抽象层次。
• 通过在无标签数据上对广义高斯混合分布进行统计估计，实现无监督初始化，自然地确定初始参数和通道数。
• 使用加权 $ l_p $ 相似性，扩展核-SVM 的假设空间，引入一种具有更强表征能力的新构建模块。
• 实现一个基础的 SimNet 架构，并在 CIFAR-10 上将其与同等深度的 ConvNets 及先前工作中的一层网络进行基准对比。

实验结果

研究问题

• RQ1 能否设计一种深层网络架构，推广 ConvNets 的同时实现更高层次的抽象与紧凑性？
• RQ2 在 $ l_p $ 相似性算子中引入可学习权重，是否能带来超越标准核机器的表征优势？
• RQ3 能否有效利用无监督学习来初始化 SimNet 参数，且其性能是否优于随机初始化？
• RQ4 能否通过方差分析，从无标签数据中自动确定网络结构（如每层的通道数）？
• RQ5 SimNets 是否能在远少于同类 ConvNets 参数量的情况下实现最先进性能？

主要发现

• SimNets 在 CIFAR-10 上实现了与当前最先进 ConvNets 相当或更优的准确率，且参数量约为其 1/9。
• 在 $ l_p $ 相似性算子中引入权重后，性能随参数量增加呈超线性增长，表明其在表征能力上超越了核-SVM。
• 基于广义高斯混合分布估计的无监督初始化优于随机初始化，尤其在小型网络设置中表现更优。
• 带有可学习偏置的 MEX 层能够实现标准 ConvNets 无法表达的基于局部性的偏差，表明其具有更强的建模灵活性。
• 该架构可通过无监督特征模式的方差分析自然实现通道数的自动确定，从而支持数据驱动的网络结构设计。
• 加权 $ l_p $ 相似性算子无法在核-SVM 框架中实现，证明其能够访问比传统核机器更大的假设空间。