[论文解读] Neural Snowball for Few-Shot Relation Learning

Tianyu Gao, Xu Han+5 more|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 60被引用 7

一句话总结

Neural Snowball 提出了一种少样本关系学习框架，通过在现有关系上预训练的关联孪生网络（RSN）迭代累积高质量的未标注实例，用于新关系的学习。通过利用 RSN 的语义相似性来选择可靠实例，该方法在基线模型上实现了显著的性能提升，在未见过的关系上，top-5 实例的精确率达到 82.15%。

ABSTRACT

Knowledge graphs typically undergo open-ended growth of new relations. This cannot be well handled by relation extraction that focuses on pre-defined relations with sufficient training data. To address new relations with few-shot instances, we propose a novel bootstrapping approach, Neural Snowball, to learn new relations by transferring semantic knowledge about existing relations. More specifically, we use Relational Siamese Networks (RSN) to learn the metric of relational similarities between instances based on existing relations and their labeled data. Afterwards, given a new relation and its few-shot instances, we use RSN to accumulate reliable instances from unlabeled corpora; these instances are used to train a relation classifier, which can further identify new facts of the new relation. The process is conducted iteratively like a snowball. Experiments show that our model can gather high-quality instances for better few-shot relation learning and achieves significant improvement compared to baselines. Codes and datasets are released on https://github.com/thunlp/Neural-Snowball.

研究动机与目标

• 解决开放知识图谱中新型关系的少样本关系学习挑战。
• 在仅有少量标注实例的情况下，提升对新关系的关系抽取性能。
• 利用已有标注关系，通过迁移学习引导发现新关系的高置信度实例。
• 开发一种自举机制，迭代扩展训练数据，同时保持高精确率。
• 展示关联孪生网络（RSN）在少样本适应中度量关系相似性的有效性。

提出的方法

• 该方法使用关联孪生网络（RSN）学习基于已有标注关系的句子对之间的关系相似性度量。
• 给定新关系的少量种子实例后，RSN 对未标注语料库中的候选句子进行打分，以识别高置信度实例。
• 所选的高置信度实例用于微调关系分类器，该分类器随后可识别新关系的更多事实。
• 该过程是迭代的——新发现的事实被反馈回流水线，模拟雪球效应。
• RSN 模型在历史关系上进行预训练，并在新关系学习过程中保持固定，以确保对未见关系的泛化能力。
• 该框架结合了迁移学习与主动实例选择，以在不依赖大量标注数据的情况下提升少样本性能。

实验结果

研究问题

• RQ1 神经网络模型能否有效将已有关系的语义知识迁移至新关系的少样本学习中，从而提升性能？
• RQ2 关联孪生网络（RSN）在未接触过新关系的情况下，能否有效识别其高置信度实例？
• RQ3 通过累积并重新训练新发现实例的迭代雪球过程，是否能带来一致的性能提升？
• RQ4 在少样本设置下，基于 RSN 的实例选择方法与随机采样或基于模式的方法相比，性能如何？
• RQ5 当仅有少量种子实例可用时，模型在未见关系上的泛化能力有多强？

主要发现

• Neural Snowball 在少样本关系学习中显著优于强基线模型，尤其在新关系的精确率和 F1 分数方面表现突出。
• 当为此前未见过的关系选择候选实例时，RSN 模型在 top-5 实例中实现了 82.15% 的精确率，展现出强大的泛化能力。
• 即使实例数量较少，迭代雪球过程的精确率也高于随机采样，证明了所选数据的质量。
• 在 chairperson 关系上，分类器性能随迭代逐步提升，且精确率始终优于随机基线。
• 该模型在不同关系和设置下表现出鲁棒性，随着更多实例的积累，精确率和召回率均持续提升。
• 该方法有效利用已有标注数据来启动新关系的学习，显著降低了对大规模标注数据的依赖。