[论文解读] Take 5: Interpretable Image Classification with a Handful of Features

Thomas Norrenbrock, Marco Rudolph+1 more|arXiv (Cornell University)|Mar 23, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种稀疏低维决策（SLDD）模型，通过glm-saga进行稀疏线性分类，并引入一种新型特征多样性损失，将深度神经网络的决策层简化为每个类别仅五个可解释的特征。该方法在四个细粒度图像数据集上实现了基线准确率的97–100%，同时通过聚焦于少数语义对齐的特征，实现了人类可理解的局部与全局可解释性。

ABSTRACT

Deep Neural Networks use thousands of mostly incomprehensible features to identify a single class, a decision no human can follow. We propose an interpretable sparse and low dimensional final decision layer in a deep neural network with measurable aspects of interpretability and demonstrate it on fine-grained image classification. We argue that a human can only understand the decision of a machine learning model, if the features are interpretable and only very few of them are used for a single decision. For that matter, the final layer has to be sparse and, to make interpreting the features feasible, low dimensional. We call a model with a Sparse Low-Dimensional Decision SLDD-Model. We show that a SLDD-Model is easier to interpret locally and globally than a dense high-dimensional decision layer while being able to maintain competitive accuracy. Additionally, we propose a loss function that improves a model's feature diversity and accuracy. Our more interpretable SLDD-Model only uses 5 out of just 50 features per class, while maintaining 97% to 100% of the accuracy on four common benchmark datasets compared to the baseline model with 2048 features.

研究动机与目标

• 为解决深度神经网络在医疗、自动驾驶等安全关键领域中可解释性不足的问题。
• 通过将每个类别使用的特征数量限制在约五个，与人类认知中7±2项的限制相一致，实现人类对模型决策的理解。
• 开发一种支持局部（为何做出此预测？）和全局（模型行为如何？）可解释性的模型架构。
• 在大幅降低特征维度的同时，通过一种新型损失函数保持竞争性准确率，并提升特征多样性。

提出的方法

• 使用glm-saga在选定特征上计算稀疏线性分类器，强制在最终决策层实现稀疏性。
• 微调模型以在保持分类性能的同时保留稀疏结构。
• 采用特征选择而非特征变换，以保留原始特征语义，提升可解释性。
• 引入特征多样性损失（Ldiv），最小化顶层特征之间的冗余，鼓励信息丰富且非重叠的表示。
• 通过交叉熵与Ldiv的加权组合进行训练，β = 0.196以平衡准确率与多样性。
• 通过可视化与定性分析，对事后对齐学习到的特征与人类可理解的属性。

实验结果

研究问题

• RQ1 通过将每个类别使用的特征数量减少到五个，能否使深度神经网络在全局和局部层面均实现可解释性？
• RQ2 在极低稀疏度下，通过新型损失函数强制特征多样性是否能提升准确率？
• RQ3 在稀疏决策层中学习到的特征是否能在无额外监督的情况下，与人类可理解的属性有意义地对齐？
• RQ4 当每个类别仅使用50个特征中的5个时，所提出的SLDD-Model在准确率上与密集基线相比如何？
• RQ5 在稀疏模型中，特征多样性与分类准确率之间的最优权衡是什么？

主要发现

• SLDD-Model在四个细粒度图像分类数据集上，仅使用每个类别50个特征中的5个，实现了基线模型97–100%的准确率。
• 特征多样性损失（Ldiv）显著提升了多样性@5与准确率，最优性能出现在β = 0.196时。
• 可视化结果表明，SLDD-Model的前五个特征具有局部化特性，并与人类可理解的属性（如颜色、形状、纹理）对齐。
• 该模型在多个数据集上均保持高性能，包括CUB-2011、FGVC-Aircraft、Stanford Cars和ImageNet-1K。
• 多样性@5与准确率之间存在正向且一致的关系，验证了在稀疏设置下多样性损失的有效性。
• 事后对齐结果确认，多个特征与有意义的视觉属性相对应，从而增强了局部与全局可解释性。