[论文解读] The SVD of Convolutional Weights: A CNN Interpretability Framework

Brenda Praggastis, Davis Brown+4 more|arXiv (Cornell University)|Aug 14, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

该论文提出了一种新颖的奇异值分解（SVD）框架，用于卷积神经网络（CNN）权重张量，通过将4D卷积滤波器展开为2D矩阵，实现对滤波器相关性的解释，并识别驱动分类的关键输入特征。该方法通过主奇异向量揭示判别性特征，并实现基于超图的语义层次结构，经由随机矩阵理论验证，并在CIFAR-10和ImageNet数据集上的VGG-16模型中通过DeepDataProfiler库得到验证。

ABSTRACT

Deep neural networks used for image classification often use convolutional filters to extract distinguishing features before passing them to a linear classifier. Most interpretability literature focuses on providing semantic meaning to convolutional filters to explain a model's reasoning process and confirm its use of relevant information from the input domain. Fully connected layers can be studied by decomposing their weight matrices using a singular value decomposition, in effect studying the correlations between the rows in each matrix to discover the dynamics of the map. In this work we define a singular value decomposition for the weight tensor of a convolutional layer, which provides an analogous understanding of the correlations between filters, exposing the dynamics of the convolutional map. We validate our definition using recent results in random matrix theory. By applying the decomposition across the linear layers of an image classification network we suggest a framework against which interpretability methods might be applied using hypergraphs to model class separation. Rather than looking to the activations to explain the network, we use the singular vectors with the greatest corresponding singular values for each linear layer to identify those features most important to the network. We illustrate our approach with examples and introduce the DeepDataProfiler library, the analysis tool used for this study.

研究动机与目标

• 通过分析卷积层的线性动态特性，超越基于激活的方法，解决CNN可解释性不足的问题。
• 通过张量展开，为4D卷积权重张量定义一种数学上严谨的SVD方法，保留共享权重的语义。
• 识别与主奇异向量最相关的最重要输入特征，将模型行为与输入域语义联系起来。
• 利用从奇异向量和奇异值中导出的超图，对类别分离和特征相关性进行建模。
• 开发并验证DeepDataProfiler库，作为基于SVD的CNN可解释性工具。

提出的方法

• 通过同构嵌入将4D卷积权重张量展开为2D矩阵，保留空间关系与滤波器关系。
• 对展开后的矩阵应用标准SVD（M = USV^T），提取表示输入特征相关性的奇异向量与奇异值。
• 使用最大奇异值对应的主奇异向量作为输入域中最具影响力特征的指示。
• 构建超图以建模奇异向量与目标类别之间的关系，参数控制特征显著性阈值。
• 通过与Gram矩阵分析的理论一致性以及在全连接层上与随机矩阵理论的实证对齐，验证展开方法的合理性。
• 在DeepDataProfiler（DDP）库中实现该框架，包含Jupyter笔记本和Streamlit应用，用于可视化与分析。

实验结果

研究问题

• RQ1 如何有意义地将奇异值分解扩展到4D卷积权重张量，以揭示其潜在的线性动态？
• RQ2 卷积层主奇异向量与最显著影响分类的输入特征之间存在何种关系？
• RQ3 展开后的卷积权重矩阵的谱特性如何与随机矩阵理论的已知结果保持一致？
• RQ4 基于奇异向量构建的超图能否有效建模类别分离，并揭示CNN中特征的语义层次结构？
• RQ5 与基于激活的归因方法相比，该基于SVD的框架在多大程度上提升了可解释性？

主要发现

• 所提出的4D卷积权重张量展开方法在保留卷积结构与共享权重语义的同时，实现了SVD的应用。
• 展开权重矩阵的主奇异向量对应于网络最强烈关联的输入特征，无论是增强还是抑制这些特征。
• 该框架生成了可解释的特征可视化结果——尤其在ImageNet训练的VGG-16中表现明显——显示出清晰的语义区分，例如生物对象呈现更柔和的边缘，而人造物体则具有更锐利的特征。
• 基于显著奇异向量构建的超图揭示了特征的分层结构，高层特征捕捉更具抽象性与类别特异性的模式。
• 该方法通过与随机矩阵理论的对齐得到实证验证，特别是在全连接层协方差矩阵的谱分布方面。
• DeepDataProfiler库成功实现了基于SVD的可解释性端到端分析，包括超图构建与特征可视化，适用于CIFAR-10与ImageNet上的VGG-16模型。