[论文解读] Towards Explainable NLP: A Generative Explanation Framework for Text Classification

Mohammadi, Hadi, Bagheri, Ayoub+1 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 27被引用 24

一句话总结

本文提出了一种模型无关的生成式解释框架（GEF），该框架联合学习文本分类并利用摘要和属性评分等细粒度信息生成抽象性、可读性强的解释。通过引入可解释因子和最小风险训练，GEF在两个新构建的包含明确解释的公开数据集上，同时提升了分类准确率和解释质量，优于强 baseline 模型。

ABSTRACT

Building explainable systems is a critical problem in the field of Natural Language Processing (NLP), since most machine learning models provide no explanations for the predictions. Existing approaches for explainable machine learning systems tend to focus on interpreting the outputs or the connections between inputs and outputs. However, the fine-grained information is often ignored, and the systems do not explicitly generate the human-readable explanations. To better alleviate this problem, we propose a novel generative explanation framework that learns to make classification decisions and generate fine-grained explanations at the same time. More specifically, we introduce the explainable factor and the minimum risk training approach that learn to generate more reasonable explanations. We construct two new datasets that contain summaries, rating scores, and fine-grained reasons. We conduct experiments on both datasets, comparing with several strong neural network baseline systems. Experimental results show that our method surpasses all baselines on both datasets, and is able to generate concise explanations at the same time.

研究动机与目标

• 为解决现有 NLP 模型缺乏人类可读、细粒度解释的问题，这些模型通常表现为黑箱。
• 开发一种统一框架，同时执行文本分类和生成抽象性解释。
• 通过显式建模预测背后的推理过程，提升模型的可信度和可解释性。
• 构建并发布两个新的公开数据集，其中包含用于文本分类的细粒度解释（摘要、评分）。
• 证明在模型中引入解释生成可同时提升分类性能和解释质量。

提出的方法

• 提出一种混合生成-判别框架，联合优化分类和解释生成。
• 引入“可解释因子”以显式建模输入文本与生成解释之间的关系。
• 采用最小风险训练，通过最小化与黄金参考对齐的风险损失函数，优化解释质量。
• 使用抽象性生成方法，为分类决策生成简洁、自然语言的解释，而非依赖抽取式方法。
• 可适配多种神经网络架构（如 CNN、LSTM、Transformer），使框架具备模型无关性。
• 利用两个新构建的数据集：一个来自 PCMag（带有正面/负面/中性评论的产品评论），另一个来自 Skytrax（带有五维属性评分的航班评论）。

实验结果

研究问题

• RQ1 统一框架能否同时学习文本分类并生成高质量的抽象性解释？
• RQ2 引入细粒度信息（如属性评分、摘要评论）在多大程度上提升模型性能和解释质量？
• RQ3 最小风险训练是否能有效优化解释生成，使其与人工标注参考更一致？
• RQ4 所提出的框架能否在不同神经网络架构上有效应用？
• RQ5 生成解释在多大程度上提升了 NLP 模型的可解释性和可信度？

主要发现

• 所提出的生成式解释框架（GEF）在 PCMag 和 Skytrax 两个数据集上的分类准确率上显著优于强基线神经网络模型。
• 通过生成的解释显式建模预测背后的推理过程，GEF 提升了模型性能。
• 该框架生成的解释简洁、可读性强，比基线方法更具信息量，且与黄金参考对齐程度更高。
• 最小风险训练通过基于风险的损失函数优化相关性和流畅性，有效提升了解释质量。
• 抽象性解释生成过程产生更短但更具信息量的解释，尽管偶尔会将一些罕见领域术语替换为 <UNK> 标记。
• 作者发布了两个包含细粒度解释的新公共数据集，为未来可解释 NLP 研究提供了支持。