[论文解读] SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning

Aaron Chan, Jiashu Xu+4 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用 5

一句话总结

本文提出 SalKG，一种通过让模型从知识图谱特征的显著性解释中学习来提升常识推理任务中知识图谱增强模型性能的框架。通过联合预测粗粒度（知识图谱有用性）和细粒度（有用节点/路径）解释，SalKG 改进了注意力机制，在 CSQA 上实现了最高 2.76% 的准确率绝对提升。

ABSTRACT

Augmenting pre-trained language models with knowledge graphs (KGs) has achieved success on various commonsense reasoning tasks. However, for a given task instance, the KG, or certain parts of the KG, may not be useful. Although KG-augmented models often use attention to focus on specific KG components, the KG is still always used, and the attention mechanism is never explicitly taught which KG components should be used. Meanwhile, saliency methods can measure how much a KG feature (e.g., graph, node, path) influences the model to make the correct prediction, thus explaining which KG features are useful. This paper explores how saliency explanations can be used to improve KG-augmented models' performance. First, we propose to create coarse (Is the KG useful?) and fine (Which nodes/paths in the KG are useful?) saliency explanations. Second, to motivate saliency-based supervision, we analyze oracle KG-augmented models which directly use saliency explanations as extra inputs for guiding their attention. Third, we propose SalKG, a framework for KG-augmented models to learn from coarse and/or fine saliency explanations. Given saliency explanations created from a task's training set, SalKG jointly trains the model to predict the explanations, then solve the task by attending to KG features highlighted by the predicted explanations. On three commonsense QA benchmarks (CSQA, OBQA, CODAH) and a range of KG-augmented models, we show that SalKG can yield considerable performance gains -- up to 2.76% absolute improvement on CSQA.

研究动机与目标

• 解决知识图谱增强模型始终使用知识图谱但缺乏学习何时或哪些部分实际有用的问题。
• 探究显著性解释（衡量知识图谱特征对预测的影响）是否可作为有效监督信号以改进模型注意力机制。
• 开发一种联合训练框架，使模型能够预测显著性解释并利用这些解释来提升常识问答任务中的推理性能。
• 证明显著性解释，尤其是以粗粒度和细粒度联合方式使用时，可作为互补信号，增强泛化能力和性能。
• 表明基于显著性的监督可减少对虚假知识图谱模式的过拟合，并提升在多样化常识推理基准上的鲁棒性。

提出的方法

• 提出基于集成的方法生成粗粒度显著性解释，通过比较知识图谱增强与非知识图谱增强模型的性能差异来衡量。
• 使用现成方法（如基于梯度的 G×I 或遮挡法）生成细粒度显著性解释，针对知识图谱节点和路径进行特征重要性分析。
• 提出 SalKG，一种联合训练框架，使模型同时学习预测粗粒度和细粒度显著性解释，并利用预测结果引导知识图谱注意力机制。
• 将二值化的显著性分数作为注意力机制的监督目标，有效正则化模型，使其仅关注相关知识图谱组件。
• 采用多阶段训练流程：(1) 在训练数据上生成显著性解释，(2) 训练模型预测这些解释，(3) 使用由预测解释引导的注意力机制在下游任务上进行微调。
• 支持仅粗粒度、仅细粒度以及混合（粗粒度 + 细粒度）监督，支持对每类解释类型贡献的消融实验。

实验结果

研究问题

• RQ1 知识图谱特征的显著性解释能否作为有效监督信号，提升知识图谱增强模型在常识推理任务中的性能？
• RQ2 联合学习预测粗粒度（知识图谱有用性）和细粒度（有用节点/路径）解释，是否能带来比标准端到端训练更好的泛化能力？
• RQ3 粗粒度和细粒度显著性解释在引导注意力和减少对虚假知识图谱模式过拟合方面，能力有何差异？
• RQ4 将显著性解释作为监督信号，对在 CSQA、OBQA 和 CODAH 等多样化常识问答基准上的模型性能有何影响？
• RQ5 基于显著性的监督能否提升数据效率和模型鲁棒性，尤其是在知识图谱覆盖不全或存在噪声的情况下？

主要发现

• SalKG 在 CSQA 基准上实现了最高 2.76% 的准确率绝对提升，显著优于基线知识图谱增强模型。
• 粗粒度与细粒度显著性解释的结合带来了最强的性能增益，表明二者在引导注意力方面具有互补性。
• 在 OBQA 和 CODAH 上，SalKG 对多种知识图谱增强模型架构均表现出一致的性能提升，显示出广泛适用性。
• 使用真实显著性解释作为注意力掩码的“理想”模型表现出显著的性能提升，验证了基于显著性监督的潜力。
• 该框架通过明确教导模型识别相关组件，减少了对虚假知识图谱特征的过拟合，提升了在未见样本上的泛化能力。
• 尽管由于显著性解释生成导致训练时间增加，但性能增益足以证明计算成本的合理性，且未来可通过优化提升效率。