[论文解读] Quantifying Layerwise Information Discarding of Neural Networks.

Haotian Ma, Yinqing Zhang+2 more|arXiv (Cornell University)|Jun 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 37被引用 11

一句话总结

本文引入基于熵的度量——严格信息丢弃与重建不确定性——以量化深度神经网络中各层间输入信息的渐进丢失情况。通过实现这些度量的高效计算，该方法可系统性诊断预训练模型中的知识表征，揭示网络行为与架构设计的洞察。

ABSTRACT

This paper presents a method to explain how input information is discarded through intermediate layers of a neural network during the forward propagation, in order to quantify and diagnose knowledge representations of pre-trained deep neural networks. We define two types of entropy-based metrics, i.e., the strict information discarding and the reconstruction uncertainty, which measure input information of a specific layer from two perspectives. We develop a method to enable efficient computation of such entropy-based metrics. Our method can be broadly applied to various neural networks and enable comprehensive comparisons between different layers of different networks. Preliminary experiments have shown the effectiveness of our metrics in analyzing benchmark networks and explaining existing deep-learning techniques.

研究动机与目标

• 理解在前向传播过程中，输入信息如何在中间层被逐步丢弃。
• 开发一种诊断工具，用于分析预训练深层神经网络中的知识表征。
• 实现对不同层与架构之间信息流的全面、高效比较。
• 提供可解释的度量，通过信息论分析解释现有深度学习技术。

提出的方法

• 定义两种基于熵的度量：严格信息丢弃与重建不确定性，分别从不同角度度量信息丢失。
• 基于信息论公式化这些度量，以量化每一层对输入信息的保留或丢失情况。
• 设计高效的计算方法，无需完整重训练模型即可估计这些基于熵的度量。
• 将度量应用于多种神经网络架构，实现跨层与跨网络的比较。
• 利用度量分析基准网络，验证其在诊断模型行为方面的有效性。
• 通过定量的逐层分析，实现对深层网络中信息流动态的可视化与解释。

实验结果

研究问题

• RQ1 在前向传播过程中，深层神经网络的每一层丢弃了多少输入信息？
• RQ2 严格信息丢弃与重建不确定性在多大程度上能够解释预训练模型中的知识表征？
• RQ3 不同网络架构在各层的信息保留与丢失方面有何差异？
• RQ4 所提出的度量能否诊断并解释已知的深度学习现象（如不变性或泛化性）？
• RQ5 这些度量在不同网络架构上的计算效率如何？

主要发现

• 所提出的度量能有效量化各层间的信息丢弃，支持对深层网络中知识表征的详细分析。
• 严格信息丢弃揭示了在早期层中存在显著的信息丢失，尤其在具有强烈非线性激活的模型中更为明显。
• 重建不确定性识别出输入信息变得模糊或难以恢复的层，突显潜在瓶颈。
• 这些度量支持对不同架构的有意义比较，揭示了信息流模式的差异。
• 初步实验表明，度量结果与基准网络中的已知行为一致，验证了其可解释性。
• 该方法支持高效计算，使其在大规模模型分析与诊断工作流中具有实际可行性。