[论文解读] Second-order Convolutional Neural Networks

Kaicheng Yu, Mathieu Salzmann|arXiv (Cornell University)|Mar 20, 2017

Advanced Neural Network Applications参考文献 19被引用 35

一句话总结

本文提出二阶卷积神经网络（SO-CNNs），用一种新型协方差描述子单元（CDU）替代标准的全连接层，以提取并转换卷积特征的二阶统计量（协方差矩阵）。该方法在图像分类任务中达到最先进性能，优于一阶CNN和先前的二阶方法，同时参数量减少高达90%。

ABSTRACT

Convolutional Neural Networks (CNNs) have been successfully applied to many computer vision tasks, such as image classification. By performing linear combinations and element-wise nonlinear operations, these networks can be thought of as extracting solely first-order information from an input image. In the past, however, second-order statistics computed from handcrafted features, e.g., covariances, have proven highly effective in diverse recognition tasks. In this paper, we introduce a novel class of CNNs that exploit second-order statistics. To this end, we design a series of new layers that (i) extract a covariance matrix from convolutional activations, (ii) compute a parametric, second-order transformation of a matrix, and (iii) perform a parametric vectorization of a matrix. These operations can be assembled to form a Covariance Descriptor Unit (CDU), which replaces the fully-connected layers of standard CNNs. Our experiments demonstrate the benefits of our new architecture, which outperform the first-order CNNs, while relying on up to 90% fewer parameters.

研究动机与目标

• 为解决标准CNN仅能提取图像一阶统计量的局限性，尽管有证据表明二阶统计量（如协方差）对人类视觉识别至关重要。
• 开发一种深度学习框架，将二阶统计量整合到端到端训练中，克服传统区域协方差描述子（RCDs）中手工设计特征的局限性。
• 设计新型可微分层，可在神经网络内计算并转换协方差矩阵，实现对二阶操作的反向传播。
• 证明SO-CNN在CIFAR-10和MINC2500等标准基准上优于一阶CNN和现有二阶基线模型。
• 通过用紧凑、可学习的CDU替代大型全连接层，实现高效且参数高效的视觉识别，利用矩阵级表示。

提出的方法

• 提出一种新层，从卷积层的特征图计算协方差矩阵，捕捉通道间的二阶统计关系。
• 引入参数化的二阶变换层，对协方差矩阵应用可学习的线性变换，使网络能够学习有意义的二阶表示。
• 设计参数化向量化层，将协方差矩阵转换为向量，实现与标准全连接层或分类头的兼容性。
• 将上述三层组合为协方差描述子单元（CDU），替代标准CNN中的全连接层，支持端到端训练。
• 采用鲁棒协方差估计和多个CDU处理高维特征图，提升稳定性和性能。
• 在描述子空间（D-）中通过拼接或平均融合多个CDU，结果表明描述子级融合优于向量级融合（V-）。

实验结果

研究问题

• RQ1 与一阶CNN相比，深度网络中端到端学习二阶统计量是否能提升视觉识别任务的性能？
• RQ2 可学习的二阶操作（如协方差矩阵的参数化变换）是否优于手工设计或固定不变的二阶特征？
• RQ3 用CDU替代全连接层是否能在保持或提升准确率的同时减少模型参数量？
• RQ4 不同多CDU融合策略（如求和、平均、拼接）对最终性能有何影响？
• RQ5 SO-CNN能否在VGG16、ResNet和FitNet等不同主干网络架构上实现良好泛化？

主要发现

• 在CIFAR-10数据集上，所提SO-CNN准确率达到77.88%，比一阶VGG16的72.14%高出5.74个百分点，且仅使用1521万参数，参数量减少93.6%。
• 在MINC2500数据集上，SO-VGG16达到77.88%的准确率，显著优于一阶VGG16（72.14%）和二阶基线SPD-net（43.90%）。
• SO-ResNet50模型达到80.45%的准确率，略高于一阶ResNet50（80.10%），并大幅优于MatBP基线（55.35%）。
• 采用双CDU（2× CDU）并结合D-拼接融合策略的性能优于鲁棒协方差估计或单CDU，且在超过两个CDU后性能增益趋于饱和。
• 与具有大型全连接层的一阶CNN相比，该方法将参数量减少高达90%，展现出强大的参数效率。
• 消融实验表明，性能提升源于二阶统计量，而非网络结构修改；在一阶模型中添加1×1卷积反而降低准确率。