[论文解读] RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction

Yew Ken Chia, Lidong Bing+2 more|arXiv (Cornell University)|Mar 17, 2022

Topic Modeling被引用 4

一句话总结

本文提出零样本关系三元组抽取（ZeroRTE），一项新颖的任务，要求模型为未见过的关系类型抽取完整的（头实体，关系，尾实体）三元组。该研究提出RelationPrompt方法，利用大语言模型通过基于关系标签的结构化提示模板生成合成训练数据，并采用三元组搜索解码方法从单个句子中抽取多个三元组，从而在FewRel和Wiki-ZSL数据集上达到最先进性能。

ABSTRACT

Despite the importance of relation extraction in building and representing knowledge, less research is focused on generalizing to unseen relations types. We introduce the task setting of Zero-Shot Relation Triplet Extraction (ZeroRTE) to encourage further research in low-resource relation extraction methods. Given an input sentence, each extracted triplet consists of the head entity, relation label, and tail entity where the relation label is not seen at the training stage. To solve ZeroRTE, we propose to synthesize relation examples by prompting language models to generate structured texts. Concretely, we unify language model prompts and structured text approaches to design a structured prompt template for generating synthetic relation samples when conditioning on relation label prompts (RelationPrompt). To overcome the limitation for extracting multiple relation triplets in a sentence, we design a novel Triplet Search Decoding method. Experiments on FewRel and Wiki-ZSL datasets show the efficacy of RelationPrompt for the ZeroRTE task and zero-shot relation classification. Our code and data are available at github.com/declare-lab/RelationPrompt.

研究动机与目标

• 为解决零样本关系抽取中完整三元组预测缺乏研究的问题，即测试关系类型无任何训练样本。
• 通过为未见关系生成合成训练数据，缓解低资源关系抽取中的数据稀缺问题。
• 开发一种无需为这些关系提供标注训练样本即可泛化到未见关系的方法。
• 实现在零样本设置下从单个句子中有效且可解释地抽取多个关系三元组。

提出的方法

• 设计一种结构化提示模板，将关系标签提示与语言模型生成相结合，生成合成的关系三元组示例。
• 将语言模型以关系标签为条件，生成包含头实体和尾实体的语境合理、结构化的句子。
• 提出三元组搜索解码方法，通过迭代方式从单个输入句子中识别并抽取多个关系三元组，利用生成的合成数据。
• 在合成数据上微调关系抽取器，以实现对未见关系的零样本推理。
• 利用大规模预训练语言模型，借助其语义与事实知识生成多样化且逼真的合成样本。
• 优化合成样本数量（如1000个），以在性能与避免因噪声数据导致的过拟合之间取得平衡。

实验结果

研究问题

• RQ1 语言模型能否在关系三元组抽取背景下，为未见关系类型生成高质量、结构化的合成数据？
• RQ2 所提出的RelationPrompt框架在实现对未见关系的零样本泛化方面效果如何？
• RQ3 三元组搜索解码方法是否能可靠地从单个句子中抽取多个关系三元组？
• RQ4 为平衡性能与避免过拟合，合成数据的最佳规模是多少？
• RQ5 该模型的泛化能力与现有零样本关系分类基线相比如何？

主要发现

• RelationPrompt在ZeroRTE基准上显著优于先前的零样本关系分类方法，展现出强大的零样本泛化能力。
• 该方法在FewRel和Wiki-ZSL数据集上达到最先进性能，验证了其在低资源关系抽取中的有效性。
• 每种关系生成约1000个合成样本可获得最优性能，更多样本会导致因噪声引发的过拟合。
• 定性分析表明，生成器对大多数关系均能生成语境合理的句子，但某些语义关系下实体与关系的对齐可能不一致。
• 三元组搜索解码方法能有效从单个句子中抽取多个三元组，提升了模型的鲁棒性与可解释性。
• 该方法在现实世界关系如'Investor'、'Defeated By'和'Currency Of'上泛化良好，表明生成数据具有较强的语义基础。