[论文解读] Posthoc Interpretation via Quantization

Francesco Paissan, Cem Subakan+1 more|arXiv (Cornell University)|Mar 22, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出后训练解释方法量化（PIQ），通过向量量化生成类别特定的离散潜在表征，以解释深度学习分类器的决策。通过在离散瓶颈中强制模型关注显著的输入区域，PIQ 生成的解释比现有方法更具可解释性、更符合人类理解，该结论已在图像和音频上的用户研究中得到验证。

ABSTRACT

In this paper, we introduce a new approach, called Posthoc Interpretation via Quantization (PIQ), for interpreting decisions made by trained classifiers. Our method utilizes vector quantization to transform the representations of a classifier into a discrete, class-specific latent space. The class-specific codebooks act as a bottleneck that forces the interpreter to focus on the parts of the input data deemed relevant by the classifier for making a prediction. Our model formulation also enables learning concepts by incorporating the supervision of pretrained annotation models such as state-of-the-art image segmentation models. We evaluated our method through quantitative and qualitative studies involving black-and-white images, color images, and audio. As a result of these studies we found that PIQ generates interpretations that are more easily understood by participants to our user studies when compared to several other interpretation methods in the literature.

研究动机与目标

• 为解决深度神经网络决策中缺乏人类可理解的解释，尤其是在医疗等高风险领域的问题。
• 开发一种后训练解释方法，生成直观、局部化的解释，突出显示相关输入区域。
• 通过利用基础模型（如 Segment-Anything Model, SAM）的监督，提升复杂数据的可解释性。
• 不仅通过定量指标，还通过跨多种数据模态的人类偏好研究来评估可解释性。
• 实现对音频和低维视觉数据的解释应用，其中显著性难以明确定义。

提出的方法

• PIQ 使用向量量化将分类器的潜在表征映射到离散的、类别特定的潜在空间，形成强调相关输入特征的瓶颈。
• 每个类别在向量量化层中拥有独立的码书，使模型能够为每个类别学习独特且可解释的概念。
• 该方法引入预训练模型（如 SAM）的监督，用于真实图像，使无需人工标注即可实现高质量概念学习。
• 对于音频和低维数据，显著性通过阈值化获得；对于复杂数据，基础模型提供监督以指导解释。
• 解释解码器基于量化后的潜在码重建输入区域，生成突出决策相关部分的视觉或音频叠加。
• 训练通过 VQ-VAE 的向量量化目标进行优化，确保生成离散、紧凑且有意义的表征。

实验结果

研究问题

• RQ1 能否使用向量量化创建类别特定的离散潜在表征，以提升深度神经网络决策的可解释性？
• RQ2 在图像和音频数据上，PIQ 生成的解释与 LIME、GradCAM 和 L2I 等现有方法相比，在人类偏好方面表现如何？
• RQ3 PIQ 是否能有效利用基础模型（如 SAM）在无需微调的情况下，为真实图像生成高质量解释？
• RQ4 在模糊或重叠输入情况下，PIQ 是否在保持原始数据分布保真度的同时，生成更具可解释性的解释？
• RQ5 PIQ 在音频数据上的表现如何，特别是在难以进行源分离的声学事件混合场景中？

主要发现

• 在黑白图像上，PIQ 在定量指标上优于多种基线方法，且与原始数据分布高度一致。
• 在黑白图像、彩色图像和音频的用户研究中，参与者一致偏好 PIQ 的解释，优于 LIME、VIBI、FLINT、L2I 和 GradCAM 的结果。
• 在 ESC-50 数据集的音频混合数据上，PIQ 的平均意见得分（5 分制）显著高于官方和重新实现的 L2I 基线。
• 用户研究结果表明，PIQ 的解释被评价为更准确、更易理解，尤其在重叠数字和混合音频等复杂场景中表现更优。
• PIQ 成功利用 Segment-Anything Model (SAM) 的监督，为真实世界图像生成有意义且局部化的解释，展示了在复杂数据上的可扩展性。
• 该方法具有跨模态泛化能力，在无需针对模态重新训练的情况下，为图像和音频数据均生成可解释的输出。