[论文解读] Scale-invariant learning and convolutional networks

Mark Tygert, Arthur Szlam+4 more|arXiv (Cornell University)|Jun 26, 2015

Neural Networks and Applications参考文献 12被引用 8

一句话总结

本文提出了一种用于卷积神经网络（convnets）的尺度不变分类层，取代了标准的多项式逻辑回归。通过确保输入缩放时输出保持不变，该方法在标准基准测试中显著提升了模型鲁棒性并降低了误差率，同时计算开销极小且能精确控制学习率。

ABSTRACT

The conventional classification schemes -- notably multinomial logistic regression -- used in conjunction with convolutional networks (convnets) are classical in statistics, designed without consideration for the usual coupling with convnets, stochastic gradient descent, and backpropagation. In the specific application to supervised learning for convnets, a simple scale-invariant classification stage turns out to be more robust than multinomial logistic regression, appears to result in slightly lower errors on several standard test sets, has similar computational costs, and features precise control over the actual rate of learning. Scale-invariant means that multiplying the input values by any nonzero scalar leaves the output unchanged.

研究动机与目标

• 解决多项式逻辑回归在 convnet 训练中的局限性，其与随机梯度下降和反向传播不兼容。
• 开发一种对输入缩放不变的分类阶段，以增强模型鲁棒性。
• 在保持相似计算成本的前提下，实现标准数据集上更低的测试误差率。
• 在训练过程中提供对学习率的精确控制。

提出的方法

• 用一种尺度不变的分类层替代多项式逻辑回归，该层在分类前对输入进行归一化。
• 应用一个归一化步骤，将输入特征除以其 L2 范数，以确保对标量乘法的不变性。
• 使用类似 softmax 的输出层，但输入经过归一化以保持尺度不变性。
• 可无缝集成到标准 convnet 架构和反向传播框架中。
• 在新分类层上使用随机梯度下降进行端到端训练。
• 计算效率与标准多项式逻辑回归相当。

实验结果

研究问题

• RQ1 与多项式逻辑回归相比，尺度不变分类层是否能提升 convnet 的泛化性能？
• RQ2 尺度不变学习是否能降低标准图像分类基准上的测试误差率？
• RQ3 该尺度不变方法对训练稳定性和学习率控制有何影响？
• RQ4 所提出的方法在计算上是否可行，并与标准深度学习训练流水线兼容？

主要发现

• 该尺度不变分类层在多个标准图像分类数据集上实现了略低的测试误差率。
• 该方法的计算成本与多项式逻辑回归相似，因此在部署时具有高效性。
• 由于输入特征被归一化，该方法可实现对学习率的精确控制。
• 该层对输入缩放具有鲁棒性，从而在训练过程中增强了模型稳定性。
• 该方法可与随机梯度下降和反向传播无缝集成，无需修改网络架构。
• 实证结果表明，该方法在不牺牲训练速度或资源使用的情况下，显著提升了鲁棒性。