[论文解读] RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching

Jianing Wang|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 21被引用 4

一句话总结

RH-Net 提出了一种新颖的框架，通过整合强化学习以实现高质量实例选择，并引入分层关系搜索模块，将数据丰富的关系中的语义迁移至数据稀少的关系中，从而联合解决基于远程监督的关系抽取中的噪声标签和长尾分布问题。该方法通过两个模块的迭代交互，在 NYT 数据集上实现了最先进性能。

ABSTRACT

Distant supervision (DS) aims to generate large-scale heuristic labeling corpus, which is widely used for neural relation extraction currently. However, it heavily suffers from noisy labeling and long-tail distributions problem. Many advanced approaches usually separately address two problems, which ignore their mutual interactions. In this paper, we propose a novel framework named RH-Net, which utilizes Reinforcement learning and Hierarchical relational searching module to improve relation extraction. We leverage reinforcement learning to instruct the model to select high-quality instances. We then propose the hierarchical relational searching module to share the semantics from correlative instances between data-rich and data-poor classes. During the iterative process, the two modules keep interacting to alleviate the noisy and long-tail problem simultaneously. Extensive experiments on widely used NYT data set clearly show that our method significant improvements over state-of-the-art baselines.

研究动机与目标

• 解决基于远程监督的关系抽取中的噪声标签与长尾分布双重挑战。
• 联合优化噪声实例过滤与从数据丰富的关系到数据稀少关系的语义迁移。
• 提升模型在低资源关系类别上的泛化能力与性能。
• 设计一种基于树搜索的分层关系搜索机制，实现在不同关系类型间共享相关语义。
• 设计一种融合隐式关系信息的强化学习智能体，以实现更优的实例选择。

提出的方法

• 使用强化学习训练一个智能体，将关系袋划分为正确与噪声集合，仅选择高质量实例用于下游训练。
• 分层关系搜索模块将关系抽取视为树搜索任务，从根节点到叶节点遍历预定义的关系层次结构。
• 门控机制在每个节点处聚合相关实例的语义信息，实现从数据丰富的关系到数据稀少关系的知识迁移。
• 引入加权和损失函数，以平衡层次树各层的贡献，提升训练稳定性。
• 将隐式关系信息整合到强化学习智能体的奖励函数中，以增强其识别语义相关实例的能力。
• 在训练过程中，强化学习模块与分层搜索模块通过迭代交互，联合缓解噪声与长尾问题。

实验结果

研究问题

• RQ1 结合隐式关系监督的强化学习能否提升远程监督中高质量训练实例的选择能力？
• RQ2 分层关系搜索能否在树状关系层次结构中有效实现从数据丰富的关系到数据稀少关系的语义迁移？
• RQ3 噪声实例过滤与语义共享之间的交互是否能显著提升长尾关系的性能？
• RQ4 门控机制与加权损失函数的集成对模型稳定性和性能有何影响？
• RQ5 RH-Net 在 NYT 基准上相较于现有最先进方法的性能提升程度如何？

主要发现

• RH-Net 在 NYT 数据集上实现了最先进性能，在整体关系抽取与长尾关系抽取中均优于现有 SOTA 方法。
• 基于 PCNN 的 RH-Net 模型性能优于基于 CNN 的变体，表明分段特征表示对长尾关系至关重要。
• HRS 模块显著优于简单的注意力机制，当移除门控机制时，P@N 下降超过 10%。
• 在强化学习智能体中移除隐式关系信号后，平均 P@N 下降 2.10%，表明其在识别相关实例方面的价值。
• 加权损失函数对训练稳定性有显著贡献，其移除导致平均 P@N 下降 7.30%。
• 案例研究证实，该模型能成功识别长尾关系的正确实例并过滤噪声句子，但对极低资源关系的性能仍因数据不足而下降。