[论文解读] The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance

Megha Srivastava, Kalanit Grill‐Spector|arXiv (Cornell University)|Oct 31, 2018

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本研究探讨了预训练与卷积神经网络（CNN）固有架构特性中，哪一因素主导深层网络中的空间变换不变性。基于一个受控的人脸数据集，研究比较了七种CNN（如AlexNet、VGG、ResNet）在不同预训练策略下的表现，并评估其对五种变换——位置、大小、旋转、模糊和重采样引起的分辨率损失——的鲁棒性。主要发现是，大规模、多样化数据集上的预训练是实现不变性的主导因素；其中，ResNet在旋转变换下表现更优，VGG在缩放变换下表现更优，而AlexNet在各类变换中鲁棒性最差。

ABSTRACT

As object recognition becomes an increasingly common ML task, and recent research demonstrating CNNs vulnerability to attacks and small image perturbations necessitate fully understanding the foundations of object recognition. We focus on understanding the mechanisms behind how neural networks generalize to spatial transformations of complex objects. While humans excel at discriminating between objects shown at new positions, orientations, and scales, past results demonstrate that this may be limited to familiar objects - humans demonstrate low tolerance of spatial-variances for purposefully constructed novel objects. Because training artificial neural networks from scratch is similar to showing novel objects to humans, we seek to understand the factors influencing the tolerance of CNNs to spatial transformations. We conduct a thorough empirical examination of seven Convolutional Neural Network (CNN) architectures. By training on a controlled face image dataset, we measure model accuracy across different degrees of 5 transformations: position, size, rotation, Gaussian blur, and resolution transformation due to resampling. We also examine how learning strategy affects generalizability by examining how different amounts of pre-training have on model robustness. Overall, we find that the most significant contributor to transformation invariance is pre-training on a large, diverse image dataset. Moreover, while AlexNet tends to be the least robust network, VGG and ResNet architectures demonstrate higher robustness for different transformations. Along with kernel visualizations and qualitative analyses, we examine differences between learning strategy and inherent architectural properties in contributing to invariance of transformations, providing valuable information towards understanding how to achieve greater robustness to transformations in CNNs.

研究动机与目标

• 理解学习策略（如预训练）与固有架构特性对CNN中变换不变性的相对贡献。
• 评估不同CNN架构（如AlexNet、VGG、ResNet等）在复杂对象（如人脸）的未见空间变换下的泛化能力。
• 探究在大规模、多样化数据集上进行预训练是否对实现对位置、大小、旋转和分辨率变化等空间变化的鲁棒性至关重要。
• 比较微调预训练层与从随机初始化训练对模型泛化能力的影响。
• 探讨人工神经网络的不变性与人类视觉系统在处理新颖、不熟悉对象时的表现之间的相似性。

提出的方法

• 在具有固定空间变化的受控人脸图像数据集上，训练七种现有的CNN架构（AlexNet、VGG、ResNet、SqueezeNet等）。
• 采用迁移学习实现三种学习策略：微调ImageNet预训练权重、冻结预训练层，以及从随机初始化开始训练。
• 在五种空间变换下评估模型准确率：平移、缩放、旋转、高斯模糊和重采样引起的分辨率损失。
• 通过卷积核可视化与定性分析，考察不同训练策略与架构之间的特征学习差异。
• 通过消融研究，在相同训练条件下比较模型，以隔离预训练与架构的影响。
• 收集并分析所有架构与训练方式下的训练曲线（损失与准确率随训练轮次的变化），用于验证与比较。

实验结果

研究问题

• RQ1 与架构设计相比，大规模、多样化数据集上的预训练在多大程度上促进了CNN的变换不变性？
• RQ2 不同CNN架构（如ResNet与AlexNet）在内在泛化能力上，对未见空间变换的差异如何？
• RQ3 微调预训练层是否比从零开始训练更能提升对空间变换的鲁棒性？
• RQ4 当预训练层被冻结与被微调时，第一层滤波器有何差异？这对特征学习意味着什么？
• RQ5 在训练过程中暴露于多种空间变化（如两种位置/大小）是否能在无预训练的情况下提升不变性？

主要发现

• 在ImageNet等大规模、多样化数据集上进行预训练，是实现CNN变换不变性的最关键因素，显著优于从随机初始化开始训练。
• ResNet架构在旋转和缩放变化下表现出更强的鲁棒性，优于其他模型。
• VGG网络在大小和分辨率变化下表现出更高的不变性，尤其在预训练后，表明其在处理尺度与模糊方面具有架构特异性优势。
• AlexNet在大多数变换中鲁棒性最差，尤其在旋转和分辨率变化下，即使经过预训练也表现不佳。
• 冻结预训练层会导致第一层滤波器适应性降低，相较于微调，表明持续学习对鲁棒特征提取至关重要。
• 从零开始训练——即使暴露于多种空间变化——也仅产生较低的鲁棒性，表明仅靠多样化的空间配置暴露不足以实现鲁棒性，必须依赖预训练。