[论文解读] Scale Alone Does not Improve Mechanistic Interpretability in Vision Models

R. Zimmermann, Thomas Klein+1 more|arXiv (Cornell University)|Jul 11, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本研究通过一项大规模心理物理学实验（包含12万名参与者响应）调查了在数据集规模和模型架构规模上扩展视觉模型是否能提升其机械可解释性。研究发现，随着规模增加，可解释性并未提升——现代模型的可解释性并不比2014年的GoogLeNet更好，表明尽管性能有所提升，但可解释性反而出现退化。研究呼吁应明确设计可解释性，并开发自动化评估指标。

ABSTRACT

In light of the recent widespread adoption of AI systems, understanding the internal information processing of neural networks has become increasingly critical. Most recently, machine vision has seen remarkable progress by scaling neural networks to unprecedented levels in dataset and model size. We here ask whether this extraordinary increase in scale also positively impacts the field of mechanistic interpretability. In other words, has our understanding of the inner workings of scaled neural networks improved as well? We use a psychophysical paradigm to quantify one form of mechanistic interpretability for a diverse suite of nine models and find no scaling effect for interpretability - neither for model nor dataset size. Specifically, none of the investigated state-of-the-art models are easier to interpret than the GoogLeNet model from almost a decade ago. Latest-generation vision models appear even less interpretable than older architectures, hinting at a regression rather than improvement, with modern models sacrificing interpretability for accuracy. These results highlight the need for models explicitly designed to be mechanistically interpretable and the need for more helpful interpretability methods to increase our understanding of networks at an atomic level. We release a dataset containing more than 130'000 human responses from our psychophysical evaluation of 767 units across nine models. This dataset facilitates research on automated instead of human-based interpretability evaluations, which can ultimately be leveraged to directly optimize the mechanistic interpretability of models.

研究动机与目标

• 评估在数据集和架构规模上扩展视觉模型是否能提升其机械可解释性。
• 探究现代大规模视觉模型（如ViT、ConvNeXt）是否比早期架构（如GoogLeNet）更具可解释性。
• 评估两种标准可解释性方法（自然范例和特征可视化）在多样化模型中的有效性。
• 发布一个大规模的人工标注可解释性响应数据集，以支持自动化可解释性评估与模型优化。
• 挑战‘模型规模天然提升可解释性’的假设，并倡导对可解释性进行显式设计。

提出的方法

• 在九个最先进的视觉模型中，通过大规模心理物理学实验收集了12万名参与者对767个神经元单位的响应。
• 采用两种标准可解释性方法：识别自然范例（ImageNet中激活最强的图像）和通过梯度上升生成特征可视化。
• 利用基于Amazon Mechanical Turk的受控HIT界面，收集人类对参与者是否能识别神经元响应特征的判断。
• 在不同模型类型、深度和规模（如ViT与CNNs、ResNet与ConvNeXt）之间比较可解释性得分。
• 通过皮尔逊相关系数分析可解释性与激活稀疏性等代理指标之间的相关性，以检验其预测关系。
• 发布完整数据集（ImageNet Mechanistic Interpretability），以支持未来自动化可解释性评估与模型优化。

实验结果

研究问题

• RQ1 增加模型或数据集规模是否能提升视觉模型的机械可解释性？
• RQ2 现代视觉模型（如ViT、ConvNeXt）是否比旧模型（如GoogLeNet）更具可解释性？
• RQ3 标准可解释性方法（自然范例和特征可视化）在更大模型中是否产生更易解释的结果？
• RQ4 激活稀疏性与人类感知的模型单元可解释性之间是否存在相关性？
• RQ5 人工标注的数据集能否用于训练自动化可解释性评估指标，以支持未来模型开发？

主要发现

• 未发现显著的规模效应：九个现代模型中，无一比近十年前的GoogLeNet更具可解释性。
• 现代模型（如ViT和ConvNeXt）的可解释性得分低于较早的CNN（如ResNet-50和GoogLeNet）。
• 激活稀疏性与可解释性之间的相关性微弱且不显著（r = 0.10，p = 0.39），表明稀疏性无法预测可解释性。
• 在架构和规模差异巨大的模型之间，可解释性无明显差异，挑战了‘规模提升可解释性’的假设。
• 已公开超过12万名响应的人工标注数据集，以支持自动化可解释性评估方法的开发。
• 结果表明，随着规模增加，可解释性出现退化，暗示现代模型可能为追求准确率而牺牲了可解释性，因此必须对可解释性进行显式设计。