[论文解读] Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations

Fred Hohman, Haekyu Park+2 more|arXiv (Cornell University)|Apr 3, 2019

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

Summit 引入了一种交互式、基于网络的系统，通过在整个图像类别上可视化激活和归因汇总，实现了深度学习可解释性的规模化。它利用激活聚合与神经元影响聚合生成归因图，揭示隐藏的神经元关系——例如，'双手持鱼'特征会影响'tench'的预测——从而实现对 InceptionV1 等大型模型在 ImageNet 上的可扩展、以人为本的分析。

ABSTRACT

Deep learning is increasingly used in decision-making tasks. However, understanding how neural networks produce final predictions remains a fundamental challenge. Existing work on interpreting neural network predictions for images often focuses on explaining predictions for single images or neurons. As predictions are often computed from millions of weights that are optimized over millions of images, such explanations can easily miss a bigger picture. We present Summit, an interactive system that scalably and systematically summarizes and visualizes what features a deep learning model has learned and how those features interact to make predictions. Summit introduces two new scalable summarization techniques: (1) activation aggregation discovers important neurons, and (2) neuron-influence aggregation identifies relationships among such neurons. Summit combines these techniques to create the novel attribution graph that reveals and summarizes crucial neuron associations and substructures that contribute to a model's outcomes. Summit scales to large data, such as the ImageNet dataset with 1.2M images, and leverages neural network feature visualization and dataset examples to help users distill large, complex neural network models into compact, interactive visualizations. We present neural network exploration scenarios where Summit helps us discover multiple surprising insights into a prevalent, large-scale image classifier's learned representations and informs future neural network architecture design. The Summit visualization runs in modern web browsers and is open-sourced.

研究动机与目标

• 通过超越单张图像或单个神经元的解释，迈向系统性、类别级别的理解，解决大规模深度学习模型解释的挑战。
• 使研究人员能够发现影响模型预测的深层、非显而易见的特征关联。
• 开发高效的规模化汇总技术，适用于 ImageNet（120万张图像）等大规模数据集。
• 创建一个交互式可视化系统，将复杂的模型表征浓缩为紧凑、可解释的图，以促进人类洞察。
• 通过揭示特征与神经元在整个类别上的交互方式，支持模型调试、架构改进和信任建立。

提出的方法

• 采用激活聚合，通过计算类别中所有图像的平均激活来识别重要神经元，并使用降维技术汇总高维特征图。
• 应用神经元影响聚合，量化每个神经元对其他神经元预测的影响，将神经元间关系建模为图结构。
• 构建归因图，其中顶点代表高度激活的神经元（例如，'scales'、'fish'），边代表有影响力的连接（例如，'scales' → 'hands holding fish'）。
• 在聚合的影响图上使用个性化 PageRank，以优先突出和强调归因图中的关键子结构和关联。
• 将神经网络特征可视化与真实数据集示例集成到可视化中，使抽象的神经元激活与现实语义相联系。
• 设计基于浏览器的界面，支持对类别级表征的交互式探索，包括搜索、排序和跨类别比较。

实验结果

研究问题

• RQ1 我们如何系统性地汇总并可视化深度神经网络中整个类别的内部表征，而非仅聚焦于单张图像或单个神经元？
• RQ2 哪些可扩展技术能够识别出在数百万张图像和参数中重要的神经元及其相互依赖关系？
• RQ3 我们能否揭示非显而易见的、高层次的特征关联（例如，与人相关的特征影响动物分类）？这些关联对模型预测至关重要。
• RQ4 归因图如何有效表示神经元之间的层次和结构关系，以支持人类理解？
• RQ5 此类可视化在多大程度上能够揭示出人意料或反直觉的模型行为，例如对间接或虚假特征的依赖？

主要发现

• Summit 成功揭示了 InceptionV1 模型对'tench'的预测依赖于中间的'hands holding fish'特征，而该特征本身又受到'scales'、'person'和'fish'等低级特征的影响。
• 归因图揭示了一条非直观的依赖链：最终的'tench'预测并非直接基于鱼或鳞片，而是基于与人相关的特征，表明可能存在虚假相关性。
• 该系统可扩展至大规模数据集，包括包含120万张图像的 ImageNet，实现在不牺牲性能或交互性的情况下进行类别级分析。
• 激活聚合与神经元影响聚合在深度、复杂架构（如 InceptionV1）中，有效识别出显著神经元及其关系。
• 可视化使研究人员得以发现多个关于学习表征的意外洞察，包括跨类别的共享子结构和意外的特征依赖关系。
• 开源的、基于浏览器的 Summit 系统支持交互式探索，并已在真实世界场景中经机器学习研究人员和实践者验证。