[论文解读] Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction

Yinghui Li, Shang Qin+7 more|arXiv (Cornell University)|Feb 18, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 EXAM 和 SEE 框架，分别将大语言模型（LLMs）重新定位为中文语法错误修正（CGEC）任务中的解释者与评估者。通过利用 LLM 的语法知识与语义理解能力，在训练过程中增强小型模型，并提升评估的一致性，该方法显著提升了小型模型的性能，并使评估结果更贴近人类判断，在基准数据集上展现出优越效果。

ABSTRACT

Recently, Large Language Models (LLMs) have been widely studied by researchers for their roles in various downstream NLP tasks. As a fundamental task in the NLP field, Chinese Grammatical Error Correction (CGEC) aims to correct all potential grammatical errors in the input sentences. Previous studies have shown that LLMs' performance as correctors on CGEC remains unsatisfactory due to its challenging task focus. To promote the CGEC field to better adapt to the era of LLMs, we rethink the roles of LLMs in the CGEC task so that they can be better utilized and explored in CGEC. Considering the rich grammatical knowledge stored in LLMs and their powerful semantic understanding capabilities, we utilize LLMs as explainers to provide explanation information for the CGEC small models during error correction to enhance performance. We also use LLMs as evaluators to bring more reasonable CGEC evaluations, thus alleviating the troubles caused by the subjectivity of the CGEC task. In particular, our work is also an active exploration of how LLMs and small models better collaborate in downstream tasks. Extensive experiments and detailed analyses on widely used datasets verify the effectiveness of our thinking intuition and the proposed methods.

研究动机与目标

• 为解决 LLM 作为直接修正器在中文语法错误修正（CGEC）中表现不佳的问题，原因在于违反了最小改动原则。
• 探索 LLM 如何被有效重用于直接修正之外的任务，充分发挥其在解释与评估方面的优势。
• 通过整合 LLM 生成的高质量错误与修正解释，提升小型 CGEC 模型的训练效果。
• 开发一种更符合人类判断的 CGEC 评估框架，通过使用 LLM 作为评估者来减少主观性。
• 在低资源或高精度场景（如 CGEC）中，实现 LLM 与小型模型在下游 NLP 任务中的协同增效。

提出的方法

• EXAM 利用 LLM 为语法错误的句子生成详细解释——涵盖错误类型、参考修正结果及语言学依据。
• 将 LLM 生成的这些解释在训练过程中蒸馏到微调后的小型 CGEC 模型中，以提升其修正准确率。
• SEE 使用 LLM 作为评估者，基于语法正确性与语义保留程度评估模型输出，确保与人类判断一致。
• SEE 的评估过程平衡了标准答案中的编辑内容与模型生成的编辑内容，以提升公平性与全面性。
• 两个框架均在广泛使用的 CGEC 基准数据集上进行评估，消融实验验证了各组件的贡献。
• 该方法依赖提示工程策略，从 GPT-3.5-Turbo 和 Qwen-72B-Chat 等 LLM 中提取结构化、高质量的解释与评估信号。

实验结果

研究问题

• RQ1 LLM 能否作为有效的解释者，通过知识蒸馏显著提升小型 CGEC 模型的性能？
• RQ2 如何利用 LLM 构建更符合人类判断且更全面的 CGEC 评估指标？
• RQ3 使用 LLM 作为评估者是否能降低传统自动评估中固有的主观性？
• RQ4 LLM 生成的解释在多大程度上提升了小型 CGEC 模型的泛化能力与鲁棒性？
• RQ5 LLM 与小型模型之间的协作是否能带来优于直接微调 LLM 的整体性能表现？

主要发现

• EXAM 通过引入 LLM 生成的解释，显著提升了小型 CGEC 模型的性能，其表现优于在相同任务上直接微调 LLM 的方法。
• SEE 的评估结果始终比传统指标（如 BLEU 和 F0.5）更接近人类判断，尤其在小型模型上表现更优。
• LLM 的 SEE 评估结果略优于人类评估，表明在该场景下 LLM 能够实现比人类更一致且更细致的评估。
• 人工评估确认，SEE 的判断与人类标注者的一致性高于标准自动指标。
• 案例研究显示，LLM 即使在错误类型多样的情况下，也能提供高质量、一致且可操作的语法错误解释。
• 该框架证明，LLM 可被有效重用于解释者与评估者角色，从而绕过因最小改动原则导致的直接修正局限。