[论文解读] STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models

Mingyu Derek Ma, Xiaoxuan Wang+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 4

一句话总结

STAR 提出了一种结构到文本的数据生成框架，首先通过 few-shot 示范合成目标信息抽取结构，然后利用经过指令微调和自我反思的大型语言模型生成自然语言文本段落。该方法显著提升了低资源事件和关系抽取的性能，其在质量和有效性方面优于人工标注的数据。

ABSTRACT

Information extraction tasks such as event extraction require an in-depth understanding of the output structure and sub-task dependencies. They heavily rely on task-specific training data in the form of (passage, target structure) pairs to obtain reasonable performance. However, obtaining such data through human annotation is costly, leading to a pressing need for low-resource information extraction approaches that require minimal human labeling for real-world applications. Fine-tuning supervised models with synthesized training data would be a generalizable method, but the existing data generation methods either still rely on large-scale ground-truth data or cannot be applied to complicated IE tasks due to their poor performance. To address these challenges, we propose STAR, a data generation method that leverages Large Language Models (LLMs) to synthesize data instances given limited seed demonstrations, thereby boosting low-resource information extraction performance. Our approach involves generating target structures (Y) followed by generating passages (X), all accomplished with the aid of LLMs. We design fine-grained step-by-step instructions to obtain the initial data instances. We further reduce errors and improve data quality through self-reflection error identification and self-refinement with iterative revision. Our experiments show that the data generated by STAR significantly improve the performance of low-resource event extraction and relation extraction tasks, even surpassing the effectiveness of human-curated data. Human assessment of the data quality shows STAR-generated data exhibits higher passage quality and better align with the task definitions compared with the human-curated data.

研究动机与目标

• 为解决标注训练数据稀缺且成本高昂的低资源信息抽取挑战。
• 开发一种可扩展、泛化能力强的数据生成方法，无需依赖现有标准答案数据进行合成。
• 通过高质量的合成训练数据，提升监督式信息抽取模型在低资源场景下的性能。
• 确保生成的数据在结构正确性、语言质量以及与任务定义的一致性方面表现良好。
• 在数据质量和下游模型性能两方面均超越人工标注的数据。

提出的方法

• STAR 首先通过 few-shot 提示从种子示范中生成目标结构（Y），从而控制事件类型、触发词和论元角色的多样性与分布。
• 随后利用指令微调的大型语言模型生成包含指定目标结构的自然语言段落（X），并由细粒度、任务特定的指令引导。
• 通过提示大型语言模型使用自动生成的反思问题识别生成段落中的质量问题，实现自我反思。
• 通过基于模板的修订进行事后反馈，迭代修正错误并提升数据质量。
• 该流程设计为逆向生成过程（Y → X），将困难的结构归纳问题转化为大型语言模型更擅长的条件文本生成问题。
• 通过相应调整结构和指令模板，该方法可同时支持事件抽取和关系抽取。

Figure 1: The Star inverse data generation strategy using event extraction task as an example. We first generate target structures from valid trigger and argument candidates. Then we prompt the LLM with task instructions from different task granularities to generate the initial passage $X_{0}$ conta

实验结果

研究问题

• RQ1 基于大型语言模型、从结构合成出发的数据生成方法能否为低资源信息抽取任务生成高质量的训练数据？
• RQ2 逆向生成策略（Y → X）是否优于依赖现有标准答案数据的传统数据合成方法？
• RQ3 自我反思与迭代优化能否显著减少合成信息抽取数据中的错误？
• RQ4 与人工标注数据相比，STAR 生成的数据在多大程度上能提升下游信息抽取模型的性能？
• RQ5 在语言正确性和任务一致性方面，STAR 生成的数据与人工标注数据相比质量如何？

主要发现

• 在使用 SURE 提示时，STAR 生成的数据使低资源事件抽取的 F1 分数相比零样本基线提升了 5.4 个百分点。
• 在使用 GenPT 提示时，该方法在关系抽取任务上相比零样本基线提升了 3.6 F1 分数。
• 人工评估显示，STAR 生成的数据在语法正确性上得分为 96%，信息丰富度为 79%，常识合理性为 95%，在段落质量方面优于人工标注数据。
• STAR 生成的数据在论元跨度捕获上达到 100% 准确率，论元角色分配正确率达到 98%，与人类表现相当或更优。
• 生成数据在与任务定义的一致性方面表现出色，特别是在触发词和事件类型一致性方面达到 99% 的准确率。
• 在多项评估中，STAR 生成的数据在下游信息抽取模型中的表现超越了作为基准的人工标注数据。

Figure 2: Event extraction performance (F1, %) when the EE models are trained on $N$ augmented training data on top of 10 data points ( $k=10$ ) for each event type. We observe that performance gain brought by Star -generated data is magnified as the data augmentation scales up with a larger $N$ , a