[论文解读] Multipartite Pooling for Deep Convolutional Neural Networks

Arash Shahriari, Fatih Porikli|arXiv (Cornell University)|Oct 20, 2017

Machine Learning and Data Classification参考文献 32被引用 8

一句话总结

本文提出了一种名为多部分池化的新型深度学习池化策略，该策略利用Fisher判别分析将特征投影到类尺度空间中，实现数据驱动的、具有判别意识的卷积特征排序。通过应用多部分排序计算区分度分数，并在每个池化窗口中选取得分最高的特征，该方法在MNIST、CIFAR-10、CIFAR-100和SVHN基准上均实现了更优的泛化性能，并持续优于最大池化、平均池化和随机池化。

ABSTRACT

We propose a novel pooling strategy that learns how to adaptively rank deep convolutional features for selecting more informative representations. To this end, we exploit discriminative analysis to project the features onto a space spanned by the number of classes in the dataset under study. This maps the notion of labels in the feature space into instances in the projected space. We employ these projected distances as a measure to rank the existing features with respect to their specific discriminant power for each individual class. We then apply multipartite ranking to score the separability of the instances and aggregate one-versus-all scores to compute an overall distinction score for each feature. For the pooling, we pick features with the highest scores in a pooling window instead of maximum, average or stochastic random assignments. Our experiments on various benchmarks confirm that the proposed strategy of multipartite pooling is highly beneficial to consistently improve the performance of deep convolutional networks via better generalization of the trained models for the test-time data.

研究动机与目标

• 解决传统池化方法（最大池化、平均池化、随机池化）缺乏判别意识且在训练与测试阶段泛化能力不足的局限性。
• 通过从类别标签中学习的共享数据驱动投影，将训练与测试池化统计量关联，提升模型泛化能力。
• 开发一种确定性、自适应的池化策略，根据特征的类别特定判别能力对卷积特征进行排序。
• 通过共享投影矩阵确保训练与测试阶段采用一致的特征选择标准，从而缩小训练与测试误差之间的差距。
• 证明基于判别分数的池化可构建更鲁棒、更具泛化能力的深度神经网络模型。

提出的方法

• 使用Fisher判别分析将卷积特征投影到由类别数量决定的低维空间中，实现类别感知的表征。
• 通过一对多排序计算每个特征与所有类别之间的成对区分度分数，并将这些分数聚合为每个特征的全局区分度分数。
• 应用多部分排序对特征的可分性进行评分，基于其在所有类别上的判别能力。
• 根据计算出的区分度分数，在每个池化窗口内选择得分最高的特征，取代最大池化/平均池化/随机池化的选择方式。
• 在训练集上使用Kullback-Leibler散度训练投影矩阵A，以对齐特征分布，确保训练与测试池化之间的一致性。
• 在测试阶段部署相同的投影矩阵A，以保持训练与推理之间的统计一致性，增强泛化能力。

实验结果

研究问题

• RQ1 一种融合类别级别判别信息的池化策略是否能提升深度卷积网络的泛化能力？
• RQ2 在测试准确率和泛化差距方面，多部分池化与最大池化、平均池化和随机池化相比表现如何？
• RQ3 基于数据驱动的判别性特征排序是否能减小训练与测试性能之间的差异？
• RQ4 在CIFAR-100等类别数量较多的数据集上，该方法在多大程度上能有效防止过拟合？
• RQ5 与随机池化相比，多部分池化的确定性特性在数值稳定性和性能一致性方面表现如何？

主要发现

• 在所有测试数据集（MNIST、CIFAR-10、CIFAR-100、SVHN）上，多部分池化在测试误差方面持续优于最大池化、平均池化和随机池化。
• 在CIFAR-10上，多部分池化缩小了训练集与验证集之间的测试误差差距，表明其泛化能力优于最大池化。
• 在CIFAR-100中，类别数量更高，多部分池化仍能实现低于最大池化的测试误差，证明其对类别复杂性的鲁棒性。
• 在SVHN上，多部分池化的测试误差接近随机池化，但因其确定性特性而具备更高的数值稳定性。
• 多部分池化的训练与测试损失曲线显著比最大池化更趋一致，证实了其过拟合程度更低、泛化能力更强。
• 该方法通过在训练与推理阶段均使用相同的投影矩阵和评分函数，有效缩小了泛化差距。