[论文解读] Self-interpretable Convolutional Neural Networks for Text Classification

Wei Zhao, Rahul Singh+3 more|arXiv (Cornell University)|May 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 10被引用 4

一句话总结

本文通过利用基于ReLU的深度神经网络（DNN）派生出的局部线性模型，提出了一种自解释的卷积神经网络（CNN）用于文本分类。通过将这些局部线性模型反向映射回最大池化层以恢复到原始n-gram，该方法在保持与标准CNN相当的分类准确率的同时，生成了稀疏且可解释的特征表示。

ABSTRACT

Deep learning models for natural language processing (NLP) are inherently complex and often viewed as black box in nature. This paper develops an approach for interpreting convolutional neural networks for text classification problems by exploiting the local-linear models inherent in ReLU-DNNs. The CNN model combines the word embedding through convolutional layers, filters them using max-pooling, and optimizes using a ReLU-DNN for classification. To get an overall self-interpretable model, the system of local linear models from the ReLU DNN are mapped back through the max-pool filter to the appropriate n-grams. Our results on experimental datasets demonstrate that our proposed technique produce parsimonious models that are self-interpretable and have comparable performance with respect to a more complex CNN model. We also study the impact of the complexity of the convolutional layers and the classification layers on the model performance.

研究动机与目标

• 为解决自然语言处理中深度学习模型的黑箱问题，实现内在可解释性而不牺牲性能。
• 开发一种将ReLU-DNN中的局部线性近似反向映射至原始文本n-gram的方法，以实现模型解释。
• 评估卷积层与分类层复杂度对模型性能与可解释性的影响。
• 构建一种简洁、自解释的模型，在文本数据集上保持具有竞争力的分类准确率。

提出的方法

• 利用ReLU-based深度神经网络中固有的局部线性特性，为预测结果生成局部解释。
• 在标准CNN架构中应用最大池化操作，从词嵌入中提取关键n-gram特征。
• 将最终全连接层的局部线性模型通过最大池化操作反向映射，以识别影响预测的关键n-gram。
• 通过基于反向映射的局部线性系数选择最相关的n-gram，构建自解释模型。
• 使用标准CNN训练流程优化模型，采用ReLU激活函数，保持端到端可微性。
• 在最终分类层引入稀疏性诱导机制，以促进简洁的特征选择。

实验结果

研究问题

• RQ1 能否有效将ReLU-DNN中的局部线性模型反向映射至原始n-gram，以生成可解释的文本分类模型？
• RQ2 卷积层与分类层的复杂度如何影响模型性能与可解释性？
• RQ3 自解释CNN在多大程度上可实现与标准非可解释CNN相当的性能？
• RQ4 特征选择中的稀疏性对文本分类中模型准确率与可解释性有何影响？

主要发现

• 所提方法在基准文本分类数据集上的分类性能与标准CNN相当。
• 通过反向映射的局部线性模型识别出关键n-gram，该模型生成了稀疏且自解释的表示。
• 降低卷积层与分类层的复杂度会导致模型性能与可解释性之间的权衡，最优配置已被识别。
• 该方法成功地将DNN中的局部线性近似反向映射至原始n-gram，实现了对模型决策的直接解释。
• 自解释模型在保持高准确率的同时，相比标准黑箱CNN显著提升了透明度。
• 最终层的稀疏性在不显著损失预测性能的前提下增强了可解释性，验证了该方法的实用性。