[论文解读] Position Bias Mitigation: A Knowledge-Aware Graph Model for Emotion Cause Extraction

Hanqi Yan, Lin Gui+2 more|arXiv (Cornell University)|Jun 7, 2021

Topic Modeling参考文献 26被引用 4

一句话总结

该论文提出了一种知识感知图模型（KAG），通过利用ConceptNet中的常识知识路径来建模语义依赖关系，从而缓解情感原因抽取中的位置偏差。通过构建包含序列边和知识边的从句图，并使用扩展的关系GCN进行节点表征学习，KAG在原始数据集上实现了最先进性能，并显著提升了对破坏位置线索的对抗性样本的鲁棒性。

ABSTRACT

The Emotion Cause Extraction (ECE)} task aims to identify clauses which contain emotion-evoking information for a particular emotion expressed in text. We observe that a widely-used ECE dataset exhibits a bias that the majority of annotated cause clauses are either directly before their associated emotion clauses or are the emotion clauses themselves. Existing models for ECE tend to explore such relative position information and suffer from the dataset bias. To investigate the degree of reliance of existing ECE models on clause relative positions, we propose a novel strategy to generate adversarial examples in which the relative position information is no longer the indicative feature of cause clauses. We test the performance of existing models on such adversarial examples and observe a significant performance drop. To address the dataset bias, we propose a novel graph-based method to explicitly model the emotion triggering paths by leveraging the commonsense knowledge to enhance the semantic dependencies between a candidate clause and an emotion clause. Experimental results show that our proposed approach performs on par with the existing state-of-the-art methods on the original ECE dataset, and is more robust against adversarial attacks compared to existing models.

研究动机与目标

• 调查现有ECE模型在多大程度上依赖于从句相对于情感从句的位置，这是由于数据集偏差所致。
• 生成破坏位置线索的对抗性样本，以测试模型的鲁棒性。
• 开发一种基于图的模型，利用常识知识来增强候选从句与情感从句之间的语义依赖建模。
• 通过减少对位置特征的依赖，特别是当原因从句不靠近情感从句时，提升模型的泛化能力。

提出的方法

• 构建一个从句图，其中节点代表从句，边包括序列边（S-Edges），用于连接连续从句以捕捉局部上下文。
• 引入知识边（K-Edges），当候选从句与情感从句之间的关键实体在ConceptNet中存在知识路径时，将其连接。
• 使用双向LSTM和Transformer编码器初始化节点特征，以获得从句表征，并通过文档级注意力整合情感上下文。
• 从ConceptNet中提取从句实体之间的知识路径，并通过双向LSTM编码以生成路径表征。
• 扩展关系GCN，通过聚合来自S-Edges和K-Edges的消息来更新节点表征，从而实现对序列依赖和基于知识依赖的联合建模。
• 通过图神经网络推理执行从句分类，以预测原因从句，并使用注意力机制加权相关路径和从句。

实验结果

研究问题

• RQ1 现有ECE模型在多大程度上依赖于从句相对于原因预测的位置？
• RQ2 所提出的对抗性样本生成策略在破坏基于位置的归纳偏差方面有多有效？
• RQ3 知识感知图模型能否在保持标准基准性能的同时减少对位置线索的依赖？
• RQ4 将ConceptNet中的常识知识整合后，如何提升模型对位置无关对抗性样本的鲁棒性？

主要发现

• 所提出的KAG模型在原始ECE数据集上取得了48.52（微平均）和62.39（宏平均）的F1分数，达到最先进性能。
• 在去除位置线索的对抗性样本上，KAG的平均F1下降幅度最小，仅为16.97%，表现出最强的鲁棒性。
• 像PAE-DGL和RTHN这样的模型在对抗性样本上性能显著下降，最高达33%，表明其对位置特征有强烈依赖。
• 案例研究证实，KAG能有效关注多个有效的知识路径，例如“arguments → fight → angry”和“molest → irritate → exasperate → angry”，以准确识别原因从句。
• 该模型展示了对相关知识路径的关注，但也暴露出在处理虚假路径（如“unemployment → situation → trouble → worried”）方面的局限性，这些路径缺乏事件层面的推理依据。
• 本研究证实，数据集对邻近原因的偏向导致模型过度拟合于位置信息，而知识增强的图建模可有效缓解此问题。