[论文解读] Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold

Can Yaras, Peng Wang+3 more|arXiv (Cornell University)|Sep 19, 2022

Medical Imaging and Analysis被引用 4

一句话总结

本文针对特征归一化至单位球面的过参数化深度网络，提供了神经坍缩的几何分析，表明在球面的黎曼流形上，优化景观呈现出良性全局结构，其中仅有神经坍缩解是全局极小值点，而所有其他临界点均为具有负曲率的严格鞍点。该理论解释了为何在特征归一化下随机梯度下降能高效收敛至这些解。

ABSTRACT

When training overparameterized deep networks for classification tasks, it has been widely observed that the learned features exhibit a so-called "neural collapse" phenomenon. More specifically, for the output features of the penultimate layer, for each class the within-class features converge to their means, and the means of different classes exhibit a certain tight frame structure, which is also aligned with the last layer's classifier. As feature normalization in the last layer becomes a common practice in modern representation learning, in this work we theoretically justify the neural collapse phenomenon for normalized features. Based on an unconstrained feature model, we simplify the empirical loss function in a multi-class classification task into a nonconvex optimization problem over the Riemannian manifold by constraining all features and classifiers over the sphere. In this context, we analyze the nonconvex landscape of the Riemannian optimization problem over the product of spheres, showing a benign global landscape in the sense that the only global minimizers are the neural collapse solutions while all other critical points are strict saddles with negative curvature. Experimental results on practical deep networks corroborate our theory and demonstrate that better representations can be learned faster via feature normalization.

研究动机与目标

• 从理论上解释为何当特征被归一化至单位球面时，深度网络中会出现神经坍缩。
• 分析在特征和分类器受范数约束下的多分类问题的非凸优化景观。
• 确立神经坍缩解是唯一全局极小值点，且所有其他临界点均为具有负曲率的严格鞍点。
• 通过实验展示特征归一化可加速学习并提升表征质量。
• 将理论洞见扩展至类别数量相对于特征维度较大的情形。

提出的方法

• 将多分类问题表述为在单位球面乘积上的非凸优化问题，对特征和分类器均施加约束。
• 将经验损失（交叉熵和均方误差）简化为在黎曼流形上的约束优化问题。
• 通过分析黎曼海森矩阵，证明除神经坍缩解外的所有临界点均为具有负曲率的严格鞍点。
• 证明唯一全局极小值点对应于三个神经坍缩特性：类内坍缩、单纯形ETF结构和自对偶性。
• 使用无约束特征模型并施加范数约束，推导最优解的几何结构。
• 在深度网络上进行实验，以验证理论，并展示特征归一化可实现更快收敛和更好泛化性能。

实验结果

研究问题

• RQ1 尽管优化问题具有非凸性，为何当特征被归一化至单位球面时，深度网络中仍会出现神经坍缩？
• RQ2 在黎曼流形上，归一化特征与分类器的优化景观具有怎样的几何结构？
• RQ3 在归一化特征设置下，神经坍缩解是否为唯一全局极小值点？其他临界点的性质如何？
• RQ4 特征归一化如何影响深度学习模型的收敛速度与泛化性能？
• RQ5 该理论框架能否扩展至类别数量相对于特征维度较大的情形？

主要发现

• 在归一化特征的黎曼流形上，优化景观呈现出良性全局结构，仅有神经坍缩解为全局极小值点。
• 所有非神经坍缩临界点均为具有负曲率的严格鞍点，解释了为何SGD能高效逃离这些点。
• 实验结果表明，特征归一化可实现更快收敛和更高测试准确率，在100类2D合成任务中达到100%准确率。
• 理论分析证实，神经坍缩解满足全部三项特性：类内坍缩、单纯形ETF结构和自对偶性。
• 特征归一化通过增强类别可分性和线性可分性，提升了表征质量，尤其在低维和高类别设置下效果显著。
• 该框架为归一化在现代深度学习中取得成功提供了几何解释，尤其在对比学习与自监督学习中表现突出。