[论文解读] On the Origins of the Block Structure Phenomenon in Neural Network Representations

Thao D. Nguyen, Maithra Raghu+1 more|arXiv (Cornell University)|Feb 15, 2022

Neural Networks and Applications被引用 6

一句话总结

该论文指出，深度神经网络表征中的块状结构源于一小部分主导数据点——如具有相似背景颜色的图像——这些数据点在连续层间引发高度相似且方差较高的第一主成分。尽管在不同随机种子下表现不同，这些主导数据点仍导致了块状结构的出现，且可通过主成分正则化或 Shake-Shake 等训练技术消除该结构，而不会损害模型性能。

ABSTRACT

Recent work has uncovered a striking phenomenon in large-capacity neural networks: they contain blocks of contiguous hidden layers with highly similar representations. This block structure has two seemingly contradictory properties: on the one hand, its constituent layers exhibit highly similar dominant first principal components (PCs), but on the other hand, their representations, and their common first PC, are highly dissimilar across different random seeds. Our work seeks to reconcile these discrepant properties by investigating the origin of the block structure in relation to the data and training methods. By analyzing properties of the dominant PCs, we find that the block structure arises from dominant datapoints - a small group of examples that share similar image statistics (e.g. background color). However, the set of dominant datapoints, and the precise shared image statistic, can vary across random seeds. Thus, the block structure reflects meaningful dataset statistics, but is simultaneously unique to each model. Through studying hidden layer activations and creating synthetic datapoints, we demonstrate that these simple image statistics dominate the representational geometry of the layers inside the block structure. We explore how the phenomenon evolves through training, finding that the block structure takes shape early in training, but the underlying representations and the corresponding dominant datapoints continue to change substantially. Finally, we study the interplay between the block structure and different training mechanisms, introducing a targeted intervention to eliminate the block structure, as well as examining the effects of pretraining and Shake-Shake regularization.

研究动机与目标

• 解决块状结构在不同模型间具有一致性，但在不同随机种子下又表现出高度差异性的矛盾现象。
• 探究块状结构是否反映了有意义的数据集统计特性，还是偶然的过拟合现象。
• 识别导致块状结构现象出现的底层数据与训练因素。
• 评估是否可通过有针对性的干预手段控制或消除块状结构。
• 考察块状结构及其主导数据点在训练过程中的演化规律，以及在不同架构和训练策略下的表现。

提出的方法

• 使用线性中心化核对齐（CKA）测量隐藏层表征之间的相似性，并识别块状结构。
• 应用幂迭代法估算每一层表征的第一主成分（PC）所解释的方差比例。
• 通过分析哪些训练样本对具有块状结构的层的第一主成分贡献最大，识别主导数据点。
• 基于主导数据点的共享图像统计特性（如背景颜色）构建合成数据点，以验证其对激活范数的影响。
• 引入一种主成分正则化器，在训练过程中惩罚第一主成分的高方差，以抑制块状结构的出现。
• 评估不同训练方法（如 Shake-Shake 正则化、迁移学习、批量大小）对块状结构形成及表征一致性的影。

实验结果

研究问题

• RQ1 鉴于块状结构在不同模型中表现一致，但在不同随机种子下又高度不一致，其成因是什么？
• RQ2 是否具有共享图像统计特性（如背景颜色）的主导数据点驱动了块状结构的出现？
• RQ3 块状结构在训练过程中如何演化？主导数据点是否会随时间改变？
• RQ4 是否可通过有针对性的训练干预手段消除块状结构，同时不损害模型性能？
• RQ5 不同训练技术（如数据增强、正则化、迁移学习）如何影响块状结构的存在性与一致性？

主要发现

• 块状结构源于一小部分共享简单图像统计特性（如背景颜色）的主导数据点，这些数据点在隐藏层中引发高激活范数。
• 主导数据点及其共享特征在不同随机种子下发生变化，解释了尽管块状结构反复出现，但其具体形态在不同种子间仍存在显著差异的原因。
• 从数据集中排除主导数据点后，块状结构完全消失，证实了其在该现象中的因果作用。
• 基于主导数据点共享图像统计特性的合成样本可重现高激活范数，验证了其对表征几何结构的影响。
• 块状结构在训练初期即已出现，但随训练过程持续演化，不同训练阶段的主导数据点与表征各不相同。
• 一种主成分正则化器，将第一主成分的方差限制在总方差的20%以内，可成功消除块状结构，且未造成性能下降，甚至在低数据量场景下提升了准确率。