[论文解读] Towards Interpretable Natural Language Understanding with Explanations as Latent Variables

Wangchunshu Zhou, Jinyi Hu+5 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling被引用 3

一句话总结

本文提出了一种变分EM框架，将自然语言解释视为隐变量，以在仅需最少人工标注解释的情况下实现可解释的自然语言理解。通过联合优化解释生成模块与解释增强的预测模块，并引入自训练方法实现半监督学习，该方法在监督学习和弱监督学习设置下均表现出色，同时生成高质量的解释。

ABSTRACT

Recently generating natural language explanations has shown very promising results in not only offering interpretable explanations but also providing additional information and supervision for prediction. However, existing approaches usually require a large set of human annotated explanations for training while collecting a large set of explanations is not only time consuming but also expensive. In this paper, we develop a general framework for interpretable natural language understanding that requires only a small set of human annotated explanations for training. Our framework treats natural language explanations as latent variables that model the underlying reasoning process of a neural model. We develop a variational EM framework for optimization where an explanation generation module and an explanation-augmented prediction module are alternatively optimized and mutually enhance each other. Moreover, we further propose an explanation-based self-training method under this framework for semi-supervised learning. It alternates between assigning pseudo-labels to unlabeled data and generating new explanations to iteratively improve each other. Experiments on two natural language understanding tasks demonstrate that our framework can not only make effective predictions in both supervised and semi-supervised settings, but also generate good natural language explanation.

研究动机与目标

• 减少在自然语言理解中对大规模人工标注解释的依赖。
• 通过建模自然语言解释中的推理过程，实现可解释的模型预测。
• 开发一种半监督学习方法，利用伪标签数据和生成的解释提升性能。
• 通过变分EM框架联合优化解释生成与预测。

提出的方法

• 该框架将解释视为隐变量，使模型能够在无需对解释进行显式监督的情况下学习推理过程。
• 采用变分EM算法，交替优化解释生成模块与解释增强的预测模块。
• 解释生成模块为预测结果生成自然语言解释，用于优化预测模型。
• 预测模块利用生成的解释以提升泛化能力和可解释性。
• 引入一种自训练方法，对未标注数据分配伪标签，并迭代生成解释，以增强两个模块。
• 该框架仅需少量标注解释即可在监督学习和半监督学习设置下实现有效学习。

实验结果

研究问题

• RQ1 自然语言解释能否被有效建模为隐变量以提升模型可解释性？
• RQ2 解释生成与预测的联合优化框架能否在仅使用极少人工标注解释的情况下提升性能？
• RQ3 利用生成解释的自训练能否在半监督设置下提升模型泛化能力？
• RQ4 生成的解释与人类推理的对齐程度如何，是否能提升预测准确率？

主要发现

• 该框架在仅使用少量人工标注解释的情况下，在两个自然语言理解任务上均表现出强劲性能。
• 模型生成的自然语言解释语义连贯且与预测结果高度相关。
• 自训练组件通过迭代优化伪标签和解释，提升了未标注数据上的性能。
• 生成与预测模块的联合优化实现了相互促进，同时提升了可解释性与准确率。