[论文解读] Polysemanticity and Capacity in Neural Networks

Adam Scherlis, Kshitij Sachan+3 more|arXiv (Cornell University)|Oct 4, 2022

Neural Networks and Applications被引用 4

一句话总结

本文引入特征容量作为理解神经网络中多义性的框架，表明最优容量分配会导致高重要性特征的单义表征、中等重要性特征的多义表征，以及低重要性特征的完全忽略。关键发现是，当每个特征的边际损失减少量达到平衡时，多义性自然出现，且几何结构揭示出依赖于模型架构的块-半正交结构。

ABSTRACT

Individual neurons in neural networks often represent a mixture of unrelated features. This phenomenon, called polysemanticity, can make interpreting neural networks more difficult and so we aim to understand its causes. We propose doing so through the lens of feature \emph{capacity}, which is the fractional dimension each feature consumes in the embedding space. We show that in a toy model the optimal capacity allocation tends to monosemantically represent the most important features, polysemantically represent less important features (in proportion to their impact on the loss), and entirely ignore the least important features. Polysemanticity is more prevalent when the inputs have higher kurtosis or sparsity and more prevalent in some architectures than others. Given an optimal allocation of capacity, we go on to study the geometry of the embedding space. We find a block-semi-orthogonal structure, with differing block sizes in different models, highlighting the impact of model architecture on the interpretability of its neurons.

研究动机与目标

• 理解神经网络神经元中多义性的成因，即单个神经元表征多个无关输入特征的情况。
• 将特征容量正式定义为特征在嵌入空间中所消耗的分数维度，取值范围在 0 到 1 之间。
• 研究损失函数如何通过容量分配激励多义表征，尤其关注特征重要性和稀疏性之间的关系。
• 分析在最优容量分配下嵌入空间的几何结构，揭示出块-半正交配置。
• 将理论预测与不同模型架构和输入分布下的实证结果进行比较。

提出的方法

• 提出一个使用二次激活函数的一层网络的简化模型，以解析方式计算特征容量分配作为特征重要性和稀疏性的函数。
• 将特征容量定义为 $ C_i = \frac{(w_i \cdot w_i)^2}{\sum_{j=1}^N (w_i \cdot w_j)^2} $，表示特征 $ i $ 消耗的嵌入维度比例。
• 使用酉矩阵构造方法，证明任意满足 $ 0 \leq C_i \leq 1 $ 且 $ \sum C_i = D $ 的容量元组 $ (C_1, \dots, C_N) $ 在嵌入空间中均可实现。
• 构建相图，显示基于特征重要性和稀疏性的区域：单义表征（$ C_i = 1 $）、被忽略（$ C_i = 0 $）或多义表征（$ 0 < C_i < 1 $）。
• 分析嵌入空间的几何结构，表明其表现出块-半正交结构，块大小随模型架构而变化。
• 证明多义性随输入峰度和稀疏性增加而增强，且在具有容量分配结构约束的特定架构中更为普遍。

实验结果

研究问题

• RQ1 在什么条件下，神经网络会为嵌入空间中的单个特征分配全部、部分或零容量？
• RQ2 特征重要性和输入稀疏性如何共同影响多义神经元的出现？
• RQ3 当在特征间最优分配容量时，嵌入空间中会涌现出何种几何结构？
• RQ4 为何某些模型在单义表征和多义表征之间表现出明显的相变，而另一些模型则没有？
• RQ5 模型架构如何通过限制容量分配来影响神经元的可解释性？

主要发现

• 相对于损失具有高重要性的特征始终以单义方式表征，消耗完整的嵌入维度（$ C_i = 1 $）。
• 重要性较低的特征会被完全忽略，获得零容量（$ C_i = 0 $），即使它们对损失有贡献。
• 中等重要性特征以多义方式表征，与其他特征共享嵌入维度，容量分配使得它们的边际损失减少量相等。
• 嵌入空间的几何结构表现出块-半正交结构，其中块对应于共享嵌入维度的一组特征，块大小随模型架构而变化。
• 多义性随输入稀疏性和峰度的增加而增强，且在具有容量分配约束或非正交嵌入结构的架构中更为普遍。
• 所有满足 $ 0 \leq C_i \leq 1 $ 且 $ \sum C_i = D $ 的可行容量元组 $ (C_1, \dots, C_N) $ 均可通过酉矩阵构造实现，证实了理论框架的普适性。