[论文解读] Unified Text Structuralization with Instruction-tuned Language Models

Xuanfan Ni, Piji Li+1 more|arXiv (Cornell University)|Mar 27, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种统一的、指令微调的文本结构化方法，利用大语言模型（LLMs）进行处理，其中前缀和后缀指令引导模型在无需任务特定微调的情况下提取多样化的信息结构（如实体、关系、事件）。实验表明，该方法在多语言和跨领域数据集上均达到最先进性能，具备强大的零样本泛化能力，并在法律和金融等低资源领域具有低成本数据集构建潜力。

ABSTRACT

Text structuralization is one of the important fields of natural language processing (NLP) consists of information extraction (IE) and structure formalization. However, current studies of text structuralization suffer from a shortage of manually annotated high-quality datasets from different domains and languages, which require specialized professional knowledge. In addition, most IE methods are designed for a specific type of structured data, e.g., entities, relations, and events, making them hard to generalize to others. In this work, we propose a simple and efficient approach to instruct large language model (LLM) to extract a variety of structures from texts. More concretely, we add a prefix and a suffix instruction to indicate the desired IE task and structure type, respectively, before feeding the text into a LLM. Experiments on two LLMs show that this approach can enable language models to perform comparable with other state-of-the-art methods on datasets of a variety of languages and knowledge, and can generalize to other IE sub-tasks via changing the content of instruction. Another benefit of our approach is that it can help researchers to build datasets in low-source and domain-specific scenarios, e.g., fields in finance and law, with low cost.

研究动机与目标

• 解决文本结构化任务中高质量、多语言、领域特定标注数据集稀缺的问题。
• 克服任务特定模型在信息抽取子任务（如命名实体识别、关系抽取和事件抽取）之间泛化能力不足的局限。
• 在无需微调的情况下，利用指令微调的大语言模型实现零样本和少样本信息抽取。
• 降低在金融和法律等低资源领域构建领域特定数据集的成本与工作量。
• 评估基于指令的提示方法在不同大语言模型和指令变体下的鲁棒性与泛化能力。

提出的方法

• 在输入文本前注入前缀指令，指定期望的信息抽取任务（例如，'提取命名实体'）。
• 在输入文本后附加后缀指令，指定目标结构类型（例如，'以键值对形式输出'）。
• 将组合后的输入（前缀 + 文本 + 后缀）输入指令微调的大语言模型，实现端到端的文本结构化。
• 通过零样本或少样本提示，无需任务特定微调，实现对多样化信息抽取子任务的泛化。
• 使用F1分数和结构度量指标，在多个数据集和语言上评估模型性能。
• 通过消融研究分析指令位置和措辞的影响，以评估模型对指令的敏感性与理解能力。

实验结果

研究问题

• RQ1 指令微调的大语言模型是否能在无需任务特定微调的情况下，对多样化信息抽取任务实现零样本文本结构化？
• RQ2 前缀和后缀指令的位置与措辞如何影响模型性能与泛化能力？
• RQ3 该统一提示方法在低资源和领域特定场景（如金融和法律）中的泛化能力如何？
• RQ4 不同的解码策略（如贪婪解码与top-p采样）如何影响不同规模模型的输出质量？
• RQ5 模型规模如何影响错误率与指令理解能力？

主要发现

• 指令微调的大语言模型，特别是GPT-3 175B和FLAN-T5-XXL，在无需任何微调的情况下，于命名实体识别、关系抽取和事件抽取任务上均取得了具有竞争力的F1分数，性能达到或接近最先进水平。
• 该方法在语言和领域之间具有良好的泛化能力，包括医疗和金融等低资源场景，能够实现低成本的数据集构建。
• 消融研究显示，前缀和后缀指令均至关重要——移除任一指令均导致性能显著下降，表明二者在引导模型方面起着关键作用。
• 模型对指令措辞变化具有鲁棒性（例如，'提取'与'获取'，'信息'与'数据'），表明其理解意图而非依赖固定关键词。
• 更大的模型（如GPT-3 175B）错误更少，指令理解能力更强，且未观察到重复或幻觉输出，而较小模型则存在此类问题。
• 对于大模型（如FLAN-T5-XXL），解码策略对输出质量影响极小，表明其在不同推理设置下具有高度稳定性和可靠性。