[论文解读] Understanding Convolutional Neural Networks for Text Classification

Alon Jacovi, Oren Sar Shalom+1 more|arXiv (Cornell University)|Sep 21, 2018

Explainable Artificial Intelligence (XAI)参考文献 23被引用 24

一句话总结

本文研究了1D卷积神经网络（CNNs）如何处理和分类文本，挑战了滤波器作为同质n-gram检测器的普遍假设。研究发现，滤波器通过不同的激活模式检测多个语义n-gram族，最大池化操作引发阈值化，使无关n-gram被过滤（40%的池化n-gram可被移除而性能不受影响），且滤波器会主动抑制被否定的n-gram。这些洞见通过滤波器级分析和阈值感知解释方法，实现了模型与预测可解释性的提升。

ABSTRACT

We present an analysis into the inner workings of Convolutional Neural Networks (CNNs) for processing text. CNNs used for computer vision can be interpreted by projecting filters into image space, but for discrete sequence inputs CNNs remain a mystery. We aim to understand the method by which the networks process and classify text. We examine common hypotheses to this problem: that filters, accompanied by global max-pooling, serve as ngram detectors. We show that filters may capture several different semantic classes of ngrams by using different activation patterns, and that global max-pooling induces behavior which separates important ngrams from the rest. Finally, we show practical use cases derived from our findings in the form of model interpretability (explaining a trained model by deriving a concrete identity for each filter, bridging the gap between visualization tools in vision tasks and NLP) and prediction interpretability (explaining predictions). Code implementation is available online at github.com/sayaendo/interpreting-cnn-for-text.

研究动机与目标

• 理解文本分类中CNN的内部工作机制，挑战滤波器作为同质n-gram检测器的假设。
• 研究全局最大池化在文本CNN中将相关n-gram与无关n-gram分离的作用。
• 检查滤波器是否检测语义族或负向提示（如被否定的n-gram）。
• 基于实证滤波器分析，开发更优的模型级与预测级可解释性技术。

提出的方法

• 分析多个文本分类数据集中的滤波器响应，以识别高分n-gram的激活模式与语义聚类。
• 基于其槽位激活向量对高激活n-gram进行聚类，揭示每个滤波器对应的独特语言模式。
• 通过阈值分析确定哪些n-gram被最大池化有效忽略，表明40%的池化n-gram可被移除而性能不变。
• 提出一种通过在词汇表上最大化来分解滤波器激活为词级贡献的方法，揭示滤波器的非同质行为。
• 提出一种预测可解释性方法，仅突出显示通过滤波器阈值的n-gram，并通过槽位激活分析标记负向n-gram模式。
• 采用一个包含十个滤波器的小型CNN模型，在Amazon Electronics（Elec）数据集上展示可解释性改进。

实验结果

研究问题

• RQ1 在文本分类中，CNN滤波器是否作为单一n-gram族的同质检测器，还是对多个语义类别有响应？
• RQ2 全局最大池化在多大程度上诱导了阈值化行为，从而从最终预测中过滤掉无关n-gram？
• RQ3 滤波器是否不仅检测正向n-gram模式，还主动抑制相关的负向或被否定的n-gram？
• RQ4 通过分析其激活模式与语义聚类，能否为每个滤波器生成更丰富且结构化的摘要？
• RQ5 通过仅关注通过滤波器阈值的n-gram，并识别n-gram构成中的负向提示，能否提升预测可解释性？

主要发现

• 文本CNN中的最大池化诱导了阈值化行为，其中40%的池化n-gram可被移除而不会影响模型性能，表明仅部分n-gram在功能上是相关的。
• 滤波器并非同质的；单个滤波器可检测多个不同的语义n-gram族，这通过基于槽位激活模式对高激活n-gram聚类得以揭示。
• 滤波器常对特定词语赋予负值以抑制整个n-gram，即使该n-gram中的其他词语具有高度激活，表明其具有主动否定行为。
• 滤波器对自然出现的n-gram敏感，但容易被非自然n-gram误导，表明其训练基于真实的语言模式。
• 通过分析槽位激活向量并聚类高分n-gram，可为滤波器赋予明确的语义身份，从而提升模型可解释性。
• 通过仅关注通过滤波器阈值的n-gram并识别负向n-gram模式，可提升预测可解释性，从而生成更简洁准确的解释。