[论文解读] Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning

Ningyu Zhang, Shumin Deng+4 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 36被引用 7

一句话总结

本文提出了一种名为关系门控对抗学习（R-Gated）的新颖领域自适应框架，用于关系抽取，通过关系门控机制降低无关源样本的影响，以应对语言差异、关系分布不平衡以及部分领域自适应的问题。该方法在低资源和噪声远距离监督设置下，通过学习领域不变特征，同时自动过滤异常关系和不可迁移样本，提升了性能。

ABSTRACT

Relation extraction aims to extract relational facts from sentences. Previous models mainly rely on manually labeled datasets, seed instances or human-crafted patterns, and distant supervision. However, the human annotation is expensive, while human-crafted patterns suffer from semantic drift and distant supervision samples are usually noisy. Domain adaptation methods enable leveraging labeled data from a different but related domain. However, different domains usually have various textual relation descriptions and different label space (the source label space is usually a superset of the target label space). To solve these problems, we propose a novel model of relation-gated adversarial learning for relation extraction, which extends the adversarial based domain adaptation. Experimental results have shown that the proposed approach outperforms previous domain adaptation methods regarding partial domain adaptation and can improve the accuracy of distance supervised relation extraction through fine-tuning.

研究动机与目标

• 解决跨领域关系抽取中语言差异、关系分布不平衡以及部分领域自适应的挑战。
• 减少因标签空间不匹配和低资源目标领域中噪声远距离监督导致的负迁移。
• 开发一种方法，可在领域自适应过程中自动识别并降低无关或不可迁移源样本的影响。
• 通过使用通用源领域进行微调，提升基于远距离监督的关系抽取的准确性。
• 实现从高质量源领域（如维基百科、Wikidata）到特定目标领域（如金融、医疗）的有效知识迁移，即使目标领域标注数据有限或存在噪声。

提出的方法

• 模型使用基于CNN的实例编码器，提取可迁移的句子表征，以解耦不同领域间的语言差异。
• 采用带有梯度反转层的对抗性领域自适应，对齐源域与目标域的特征分布。
• 引入关系门控机制，计算动态类别与实例权重，以抑制异常关系和不可迁移样本。
• 类别权重（$w^c$）按关系类型学习，以减少源域中不匹配或稀有关系的影响。
• 实例权重（$w^i$）按样本计算，以降低同一关系类别中不可迁移或噪声样本的重要性。
• 最终分类器结合来自源分类器和领域判别器的加权预测，以提升在目标域上的泛化能力。

实验结果

研究问题

• RQ1 如何有效将来自通用领域（如维基百科）的关系抽取模型适应到标签空间更小的特定低资源领域？
• RQ2 关系门控机制在在多大程度上可减少因源域与目标域间关系分布不平衡或不匹配导致的负迁移？
• RQ3 能否通过动态样本加权增强对抗性领域自适应，以提升在噪声远距离监督数据上的性能？
• RQ4 在部分领域自适应设置下（即源域标签空间是目标域标签空间的超集），模型表现如何？
• RQ5 模型是否能自动识别并降低不可迁移样本与异常关系的影响，而无需人工干预？

主要发现

• 在部分领域自适应设置下，R-Gated优于标准对抗性领域自适应方法（如CNN+DANN），尤其在目标类别数量减少时表现更优。
• 在Wiki-NYT数据集上，PCNN+R-Gated在仅保留6个目标类别时仍保持强劲性能，而CNN+DANN显著下降，表明负迁移减少。
• 关系门控机制成功为异常关系（如capital_of）分配较低权重，这些关系在目标领域中稀有或缺失。
• 通过识别并降低假阳性样本的影响，模型可纠正远距离监督中的噪声标签，案例研究显示在place_of_birth及类似关系上表现良好。
• 即使在同一关系类别内，模型也能为语义可迁移样本分配更高实例权重，为不可迁移或模糊样本分配更低权重。
• 案例研究证实，模型可自动检测并缓解异常类别与噪声实例的影响，从而提升在低资源设置下的鲁棒性。