[论文解读] Restricting the Flow: Information Bottlenecks for Attribution

Karl Schulz, Leon Sixt+2 more|arXiv (Cornell University)|Jan 2, 2020

Explainable Artificial Intelligence (XAI)参考文献 35被引用 55

一句话总结

本文将信息瓶颈概念应用于归因，通过对中间特征图加入噪声来量化图像区域提供的信息量，并在若干情境下相较基线显示出优势。

ABSTRACT

Attribution methods provide insights into the decision-making of machine learning models like artificial neural networks. For a given input sample, they assign a relevance score to each individual input variable, such as the pixels of an image. In this work we adapt the information bottleneck concept for attribution. By adding noise to intermediate feature maps we restrict the flow of information and can quantify (in bits) how much information image regions provide. We compare our method against ten baselines using three different metrics on VGG-16 and ResNet-50, and find that our methods outperform all baselines in five out of six settings. The method's information-theoretic foundation provides an absolute frame of reference for attribution values (bits) and a guarantee that regions scored close to zero are not necessary for the network's decision. For reviews: https://openreview.net/forum?id=S1xWh1rYwB For code: https://github.com/BioroboticsLab/IBA

研究动机与目标

• 将信息瓶颈概念应用于神经网络的特征归因。
• 通过对中间特征图添加噪声，以比特为单位量化图像区域的信息贡献。
• 在归因任务上，使用标准 CNN 架构将所提方法与多种基线进行对比。

提出的方法

• 对中间特征图引入噪声以限制信息流用于归因。
• 量化图像区域对决策的信息量（单位为比特）。
• 在 VGG-16 和 ResNet-50 上，针对十个基线、三项指标进行评估。
• 提供一个信息理论基础，为归因值（比特）提供绝对参考。
• 保证接近零分数的区域对网络决策并非必要。

实验结果

研究问题

• RQ1 信息瓶颈能否为图像区域提供一个有理论依据的、比特级的归因量化？
• RQ2 所提出的基于瓶颈的归因在标准 CNN 架构和评估指标下，与现有基线的对比如何？
• RQ3 在不同设置下，接近零的区域是否对决策并非必要？

主要发现

• 该方法在六种设置中有五种超过所有基线。
• 信息理论基础为归因值（以比特计）提供了一个绝对参照框架。
• 根据该方法，分数接近零的区域对网络决策并非必要。