[论文解读] YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction

Xinglin Xiao, Yijie Wang+8 more|arXiv (Cornell University)|Dec 24, 2023

Speech and dialogue systems被引用 5

一句话总结

YAYI-UIE 是一种两阶段指令微调框架，通过先在对话数据上微调基础大语言模型以提升指令遵循能力，再在新构建的综合性中文信息抽取基准上联合英文数据进行微调，从而在中文和英文通用信息抽取（UIE）任务中实现性能增强。该框架在中文信息抽取基准上实现了最先进（SOTA）性能，在监督和零样本设置下均表现优异，尤其在事件触发词抽取等关键任务上，性能超越先前方法超过10个F1分数点。

ABSTRACT

The difficulty of the information extraction task lies in dealing with the task-specific label schemas and heterogeneous data structures. Recent work has proposed methods based on large language models to uniformly model different information extraction tasks. However, these existing methods are deficient in their information extraction capabilities for Chinese languages other than English. In this paper, we propose an end-to-end chat-enhanced instruction tuning framework for universal information extraction (YAYI-UIE), which supports both Chinese and English. Specifically, we utilize dialogue data and information extraction data to enhance the information extraction performance jointly. Experimental results show that our proposed framework achieves state-of-the-art performance on Chinese datasets while also achieving comparable performance on English datasets under both supervised settings and zero-shot settings.

研究动机与目标

• 为解决现有基于大语言模型的通用信息抽取（UIE）框架在多语言能力方面，特别是中文方面能力不足的问题。
• 通过提升指令遵循与任务理解能力，改善通用信息抽取中的零样本和少样本泛化性能。
• 构建迄今为止最大且最全面的中文指令微调基准，涵盖16个不同领域。
• 开发一个端到端的、对话增强型的指令微调框架，同时提升对话理解与结构化信息抽取能力。
• 证明基于对话的指令微调能显著提升中文和英文信息抽取任务的性能。

提出的方法

• 首先，在对话数据上微调基础大语言模型，以增强其指令遵循与常识推理能力，形成对话优化模型。
• 其次，使用中文与英文信息抽取样本的联合数据集对对话优化模型进行指令微调，采用结构化提示来指定任务类型、选项及输出格式。
• 该框架采用文本到JSON的生成模式，每个输入均配有一条自然语言指令，用于定义任务、标签约束及输出结构。
• 指令模板包含三个部分：任务描述（例如“提取所有实体”）、标签选项（例如“仅提取类型为person的实体”）以及输出格式（例如“以JSON格式输出”）。
• 训练数据包含来自医学、法律、金融等领域的16个多样化中文信息抽取数据集，构成迄今最全面的中文信息抽取基准。
• 在监督和零样本两种设置下对框架进行评估，性能通过NER、RE和事件抽取任务的标准信息抽取指标（如F1）进行衡量。

实验结果

研究问题

• RQ1 一种结合对话数据的两阶段指令微调框架，能否提升通用信息抽取中的零样本和少样本泛化能力？
• RQ2 与标准指令微调相比，对话增强型指令微调在中文和英文信息抽取任务上的性能表现如何？
• RQ3 大规模、多领域中文信息抽取基准在多语言通用信息抽取中，对模型泛化能力与鲁棒性的提升程度如何？
• RQ4 在第一阶段微调中整合对话数据，是否能显著增强模型对复杂、多组件指令的遵循能力？
• RQ5 统一框架是否能在极少任务特定微调的前提下，实现对英文和中文多个信息抽取子任务（NER、RE、EE）的最先进性能？

主要发现

• YAYI-UIE在中文信息抽取基准上实现了最先进性能，在事件触发词抽取等关键任务上，F1分数超越先前方法超过10分。
• 在Baichuan-13B模型上，对话优化版本（Baichuan-13B-chat）在中文信息抽取任务上的平均F1得分为76.34，而基础模型仅为62.19。
• 该框架展现出强大的零样本泛化能力，在未见过的信息抽取任务和模式下无需微调即可保持高性能。
• 消融实验证实，基于对话的指令微调显著提升了指令遵循与抽取准确率，尤其在复杂、多组件指令上表现更优。
• 所提出的中文信息抽取基准包含16个多样化数据集，相比以往基准，能实现更稳健且更具泛化能力的训练。
• YAYI-UIE在英文数据集上的表现与现有最先进方法相当，证实了其多语言能力与可迁移性。