[论文解读] The Lie Derivative for Measuring Learned Equivariance

Nate Gruver, Marc Finzi+2 more|arXiv (Cornell University)|Oct 6, 2022

Neural Networks and Applications被引用 6

一句话总结

本文引入李导数作为连续、数学上严谨的度量方法，用于衡量深度学习模型在平滑变换下的等变性。利用该方法，作者分析了数百个模型，发现更大、更准确的模型——包括视觉变换器——尽管缺乏架构归纳偏置，其等变性仍强于卷积神经网络（CNNs），其中逐点非线性层是导致等变性违反的主要原因，主要源于空间混叠效应。

ABSTRACT

Equivariance guarantees that a model's predictions capture key symmetries in data. When an image is translated or rotated, an equivariant model's representation of that image will translate or rotate accordingly. The success of convolutional neural networks has historically been tied to translation equivariance directly encoded in their architecture. The rising success of vision transformers, which have no explicit architectural bias towards equivariance, challenges this narrative and suggests that augmentations and training data might also play a significant role in their performance. In order to better understand the role of equivariance in recent vision models, we introduce the Lie derivative, a method for measuring equivariance with strong mathematical foundations and minimal hyperparameters. Using the Lie derivative, we study the equivariance properties of hundreds of pretrained models, spanning CNNs, transformers, and Mixer architectures. The scale of our analysis allows us to separate the impact of architecture from other factors like model size or training method. Surprisingly, we find that many violations of equivariance can be linked to spatial aliasing in ubiquitous network layers, such as pointwise non-linearities, and that as models get larger and more accurate they tend to display more equivariance, regardless of architecture. For example, transformers can be more equivariant than convolutional neural networks after training.

研究动机与目标

• 开发一种连续、可微的度量方法，用于衡量深度神经网络中的等变性，避免离散变换度量方法的局限性。
• 理解架构、模型大小和训练在实现等变性中的作用，特别是针对非卷积模型（如视觉变换器）的情况。
• 识别特定层和组件（尤其是逐点非线性层）如何因空间混叠而成为等变性违反的主要来源。
• 评估泛化性能是否与等变性相关，且独立于架构归纳偏置。
• 评估数据增强和模型容量是否在无架构归纳偏置的情况下隐式学习等变性。

提出的方法

• 使用李导数定义局部等变性误差（LEE），以量化函数在连续群作用（如平移、旋转、缩放）下偏离等变性的程度。
• 将李导数计算为网络输出相对于连续变换的方向导数，并通过输入尺寸进行归一化，以确保分辨率不变性。
• 逐层分解总LEE，将等变性误差归因于各个组件，从而实现对架构单元的细粒度分析。
• 使用迹估计器在李代数的多个随机方向上高效计算李导数的范数，降低计算成本。
• 将该度量应用于包含300多个预训练模型的大规模基准测试，涵盖CNNs、视觉变换器和基于MLP的架构（如ViT、MLP-Mixer）。
• 与离散一致性度量和群-样本等变性度量进行比较，以验证李导数在灵敏度和分辨率不变性方面的优势。

实验结果

研究问题

• RQ1 尽管缺乏架构归纳偏置，视觉变换器和基于MLP的模型在平移和旋转等变性方面与CNNs相比达到何种程度？
• RQ2 神经网络中的哪些层或组件是等变性违反的主要来源，其与空间混叠有何关联？
• RQ3 在无显式架构约束的情况下，模型准确率的提升是否与连续变换下的等变性增强相关？
• RQ4 与离散或基于群的等变性度量相比，李导数量化方法在灵敏度和可解释性方面表现如何？
• RQ5 使用标准数据增强训练的模型是否能隐式学习等变性？若能，其效果与具有显式架构归纳偏置的模型相比如何？

主要发现

• 在训练后，视觉变换器和基于MLP的模型通常表现出比CNNs更高的平移和旋转等变性，尽管CNNs在架构上具有平移等变性的偏置。
• 逐点非线性层——在CNNs和视觉变换器中均普遍存在——是等变性违反的主要来源，主要源于离散采样引起的空间混叠。
• 更大、更准确的模型在各类架构中均表现出更强的等变性，表明模型容量和训练过程可隐式提升对称性保持能力。
• 李导数量度揭示，高准确率模型在双曲旋转和亮度增强下也表现出更高的等变性，表明其学习了超越标准数据增强的更广泛对称性。
• 李导数能够实现等变性误差的逐层分解，揭示非线性层对等变性损失的贡献显著偏高，尤其在深层网络中更为明显。
• 李导数的连续特性可检测离散度量无法察觉的混叠效应，凸显其在捕捉深层网络中细微对称性违反方面的优势。