[论文解读] Spectral Bias in Practice: The Role of Function Frequency in Generalization

Sara Fridovich-Keil, Raphael Gontijo-Lopes+1 more|arXiv (Cornell University)|Oct 5, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了实用的方法来测量现代图像分类模型中的谱偏差，表明高精度网络在类内学习低频函数，类间学习高频函数。关键发现是，泛化性能的提升与频率分离度增加相关——即类内频率降低、类间频率升高——这一现象在CIFAR-10和ImageNet的不同训练设置下均成立。

ABSTRACT

Despite their ability to represent highly expressive functions, deep learning models seem to find simple solutions that generalize surprisingly well. Spectral bias -- the tendency of neural networks to prioritize learning low frequency functions -- is one possible explanation for this phenomenon, but so far spectral bias has primarily been observed in theoretical models and simplified experiments. In this work, we propose methodologies for measuring spectral bias in modern image classification networks on CIFAR-10 and ImageNet. We find that these networks indeed exhibit spectral bias, and that interventions that improve test accuracy on CIFAR-10 tend to produce learned functions that have higher frequencies overall but lower frequencies in the vicinity of examples from each class. This trend holds across variation in training time, model architecture, number of training examples, data augmentation, and self-distillation. We also explore the connections between function frequency and image frequency and find that spectral bias is sensitive to the low frequencies prevalent in natural images. On ImageNet, we find that learned function frequency also varies with internal class diversity, with higher frequencies on more diverse classes. Our work enables measuring and ultimately influencing the spectral behavior of neural networks used for image classification, and is a step towards understanding why deep models generalize well.

研究动机与目标

• 探究现代深度学习模型在实践中是否表现出谱偏差，特别是在图像分类任务中。
• 开发可测量、可扩展的方法，用于评估深度网络中学习函数的频率成分。
• 理解训练动态、数据增强、模型架构和数据多样性如何影响学习函数的谱行为。
• 探讨图像频率成分与神经网络所学习函数频率之间的关系。
• 研究函数频率如何随类别内部多样性变化，特别是在ImageNet等大规模数据集上。

提出的方法

• 将Rahaman等人[35]的标签噪声方法改编用于多分类任务，采用标签平滑技术，实现在CIFAR-10上对学习函数进行频率分解。
• 提出一种基于线性插值的方法，用于测量测试图像之间路径上的函数平滑度，以区分类内路径与类间路径。
• 将插值方法应用于CIFAR-10和ImageNet模型，分析不同路径类型中的频率成分。
• 将标签噪声方法扩展至探测输入空间中特定方向上的谱偏差，评估对自然图像频率的敏感性。
• 使用C-Scores量化类别内部一致性，并将其与ImageNet上类内函数频率相关联。
• 在不同训练条件下评估谱行为：模型架构、训练时长、数据集大小、数据增强以及自蒸馏。

实验结果

研究问题

• RQ1 现代图像分类网络在实践中是否如理论和简化设置中所观察到的那样表现出谱偏差？
• RQ2 在不同训练设置下，随着模型精度的提升，学习函数的频率成分如何变化？
• RQ3 数据增强、模型架构和训练时长在多大程度上影响谱偏差？
• RQ4 ImageNet中类别内部多样性如何影响每个类别内学习函数的频率？
• RQ5 自然图像的频率与深度网络所学习函数的频率之间存在何种关系？

主要发现

• 在CIFAR-10上，高精度模型表现出清晰的频率分离：类内频率较低，类间频率较高，且随着训练实践的改进而增强。
• 这种频率分离在不同模型架构、更长训练时间、更大数据集、数据增强和自蒸馏设置下均保持一致，表明其具有稳健性。
• 在ImageNet上，随着训练进行，类内与类间路径之间的频率差距增大，内部多样性更高的类别表现出更高的频率。
• 模型对自然图像中的低频分量更敏感，因为谱偏差在与常见图像频率匹配的方向上最强。
• 类内函数频率随类内多样性（以C-Scores衡量）的增加而上升，表明复杂类别需要更高频率的函数。
• 插值方法揭示，函数频率并非均匀分布，其谱行为因路径类型（类内 vs. 类间）而异。