[论文解读] PiVe: Prompting with Iterative Verification Improving Graph-based Generative Capability of LLMs

Jiuzhou Han, Nigel Collier+2 more|arXiv (Cornell University)|May 21, 2023

Natural Language Processing Techniques被引用 6

一句话总结

该论文提出 PiVe 框架，通过使用轻量级验证器模型进行迭代验证，提升大型语言模型（LLMs）的图生成能力。通过生成扰动的图-文本对用于自监督训练，验证器在循环中提供纠正反馈，使三个数据集上的语义图质量平均提升 26%，并实现了高质量文本-图数据集（如 GenWiki-HIQ）的数据增强。

ABSTRACT

Large language models (LLMs) have shown great abilities of solving various natural language tasks in different domains. Due to the training objective of LLMs and their pre-training data, LLMs are not very well equipped for tasks involving structured data generation. We propose a framework, Prompting with Iterative Verification (PiVe), to improve graph-based generative capability of LLMs. We show how a small language model could be trained to act as a verifier module for the output of an LLM~(i.e., ChatGPT, GPT-4), and to iteratively improve its performance via fine-grained corrective instructions. We also show how the verifier module could apply iterative corrections offline for a more cost-effective solution to the text-to-graph generation task. Experiments on three graph-based datasets show consistent improvement gained via PiVe. Additionally, we create GenWiki-HIQ and highlight that the verifier module can be used as a data augmentation tool to help improve the quality of automatically generated parallel text-graph datasets.

研究动机与目标

• 为解决 LLM 在从文本生成结构化语义图方面表现不佳的问题，尽管其在非结构化文本任务中表现优异。
• 开发一种成本效益高的方法，通过外部验证器模块为 LLM 提供迭代纠正反馈，以改进基于 LLM 的文本到图生成。
• 利用验证器作为数据增强工具，构建高质量、大规模的文本-图数据集（GenWiki-HIQ）。
• 探索在线迭代提示和离线纠正两种模式，以实现可扩展且高效的图生成。
• 通过微调和指令微调训练领域特定和统一的验证器模型，以实现广泛适用性。

提出的方法

• 通过扰动种子图-文本对中的实体、关系或三元组，构建大规模验证数据集，生成（文本，扰动图，纠正指令）三元组。
• 在基于扰动的数据集上使用自监督学习训练验证器模型，以检测并纠正 LLM 生成图中的错误。
• 实现两种模式：(1) 迭代提示模式，验证器实时提供反馈以优化 LLM 提示；(2) 迭代离线纠正模式，无需重新查询 LLM 即可顺序应用纠正。
• 使用指令微调训练统一验证器，使其能够泛化至不同数据集和任务。
• 利用训练好的验证器作为数据过滤和纠正工具，提升自动构建的文本-图数据集的质量。
• 应用验证器生成 GenWiki-HIQ，一个包含 110K 个文本-图对、具有高语义重叠的高质量数据集。

Figure 1: Framework of PiVe.

实验结果

研究问题

• RQ1 在少样本提示设置下，外部验证器模型能否显著提升 LLM 生成的语义图质量？
• RQ2 带有纠正反馈的迭代验证在减少 LLM 生成图中的结构错误方面有多有效？
• RQ3 通过指令微调，单一统一验证器模型能否在不同文本到图数据集上实现良好泛化？
• RQ4 验证器模块在多大程度上可作为数据增强工具，用于提升自动构建的文本-图数据集质量？
• RQ5 与在线迭代提示相比，离线纠正模式是否在保持高性能的同时降低推理成本？

主要发现

• PiVe 框架在三个基准数据集上，使 LLM 生成的语义图质量平均提升 26%，表现出一致的性能增益。
• 验证器模型有效检测并纠正了 LLM 基于文本到图生成中常见的缺失三元组错误。
• 通过指令微调训练的统一验证器在不同数据集上表现出良好泛化能力，展现出强大的零样本迁移能力。
• 离线纠正模式在性能上与在线迭代提示相当，同时显著降低了 LLM 推理成本。
• 验证器模块成功提升了自动构建的文本-图数据集质量，促成了 GenWiki-HIQ 的创建，该数据集为包含 110K 组并行文本-图对的高质量数据集。
• 基于扰动的数据生成策略实现了可扩展的自监督训练，且几乎无需人工标注。

Figure 2: Results of various number of shots (k=6, 8, 10) on KELM-sub with Iterative Offline Correction. The colors represent Base , and corrective iterations 1 , 2 , 3 .