[论文解读] Reinforcement Learning for Relation Classification from Noisy Data

Jun Feng, Minlie Huang+3 more|arXiv (Cornell University)|Aug 24, 2018

Text and Document Classification Technologies被引用 183

一句话总结

论文提出一个两模块模型（通过强化学习进行实例选择的实例选择器和句子级关系分类器）来从嘈杂的远程监督数据中执行关系分类，在句子级别上取得比强基线更好的性能。

ABSTRACT

Existing relation classification methods that rely on distant supervision assume that a bag of sentences mentioning an entity pair are all describing a relation for the entity pair. Such methods, performing classification at the bag level, cannot identify the mapping between a relation and a sentence, and largely suffers from the noisy labeling problem. In this paper, we propose a novel model for relation classification at the sentence level from noisy data. The model has two modules: an instance selector and a relation classifier. The instance selector chooses high-quality sentences with reinforcement learning and feeds the selected sentences into the relation classifier, and the relation classifier makes sentence level prediction and provides rewards to the instance selector. The two modules are trained jointly to optimize the instance selection and relation classification processes. Experiment results show that our model can deal with the noise of data effectively and obtains better performance for relation classification at the sentence level.

研究动机与目标

• 通过将预测从袋级转向句子级来解决远程监督中的噪声标签问题。
• 引入一个通过强化学习训练的实例选择器，在分类前筛选掉嘈杂的句子。
• 联合训练实例选择器和基于CNN的关系分类器，以最大化句子级准确性并提高对噪声的鲁棒性。
• 证明句子级预测的有效性以及筛选所有句子均为嘈杂的袋子的能力。

提出的方法

• 将实例选择表述为强化学习问题，状态表示结合当前句子、已选择的句子集合以及实体对。
• 使用策略网络决定是否选择每个句子，并以分类器对关系概率的终端奖励来引导。
• 采用基于CNN的关系分类器，对单个句子使用词嵌入和位置嵌入来预测 p(r|x;Φ)。
• 在每个袋子末尾定义延迟奖励以优化所选句子的质量，并在联合训练前进行预训练。
• 使用策略梯度（REINFORCE）进行训练，并使用目标网络来稳定学习。
• 通过将数据按实体对拆分成袋子并在袋子层面评估奖励，然后将所选句子合并用于CNN训练。

实验结果

研究问题

• RQ1 句子级关系分类是否可以从嘈杂的远程监督数据中有效学习？
• RQ2 基于RL的实例选择器是否提高了用于句子级CNN关系分类的训练数据质量？
• RQ3 实例选择器与关系分类器的联合训练是否比袋级基线在该任务上更有效？
• RQ4 模型是否能够处理所有句子都嘈杂的袋子并将其筛选出？
• RQ5 与贪婪或基于注意力的实例选择方法相比，基于RL的方法表现如何？

主要发现

• CNN+RL 在句子级关系分类上比 CNN、CNN+Max、CNN+ATT 的表现更好。
• 用RL-based实例选择器选择的数据进行训练，其性能优于在原始嘈杂数据上训练的情况。
• 句子级模型在句子级预测方面优于袋级模型。
• 实例选择器能够筛选包含全部嘈杂句子的袋子（高嘈杂度袋筛选能力）。
• 人工检查显示在抽样句子上的选择器准确率为74%（正确选择与拒绝的比例）。
• 在该设置中，基于RL的选择显著优于贪婪选择。