[论文解读] ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback

Wenxiang Jiao, Jen-tse Huang+6 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling被引用 6

一句话总结

ParroT 通过在人类编写的翻译和反馈上进行微调，使用三种指令类型（翻译、对比和错误引导）来增强开源大语言模型（LLMs）的实时聊天翻译能力。其在性能上取得显著提升，尤其在错误引导微调方面表现突出，表明从低质量、人工标注的翻译中学习可使翻译质量超越标准指令微调。

ABSTRACT

Large language models (LLMs) like ChatGPT have exhibited remarkable abilities on a wide range of natural language processing~(NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose ParroT, a framework to enhance and regulate the translation abilities during chat based on open-source LLMs (e.g., LLaMA), human-written translation and feedback data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a "$\mathbf{Hint}$" field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. Experiments on Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to further improvement, which demonstrates the importance of learning from low-quality translations annotated by humans. We also demonstrate the potential of automatic evaluation tools in providing quality information of translations, when constructing error-guided instructions for directions that lack human annotation data. Please refer to our Github project for more implementation details: https://github.com/wxjiao/ParroT

研究动机与目标

• 开发一种框架，以增强和调节开源 LLM 在交互式聊天中的翻译能力。
• 通过使用开源模型实现高质量翻译，克服对 ChatGPT 和 GPT-4 等专有模型访问受限的局限。
• 利用人工编写的翻译数据和人类反馈，对 LLM 进行微调，以更好地与人类偏好和翻译质量对齐。
• 探索不同指令类型（翻译、对比和错误引导）在提升翻译性能方面的有效性。
• 研究在缺乏人工标注数据时，自动评估工具（如 COMET）在生成错误引导指令方面的潜力。

提出的方法

• 将平行翻译数据重新格式化为指令遵循格式，并引入 'Hint' 字段以包含额外的翻译调控约束。
• 引入三种指令类型：(1) 翻译指令用于基础翻译，(2) 对比指令用于比较两个翻译并指定优选输出，(3) 错误引导指令使用人工标注的错误作为提示。
• 使用指令微调在 WMT 验证数据和 MQM 人工评估数据上微调开源 LLM（LLaMA 和 BLOOM）。
• 采用低秩适应（LoRA）实现参数高效的微调，以防止过拟合并提升泛化能力。
• 利用自动评估指标（如 COMET）为缺乏人工标注错误数据的语言对生成合成的错误引导指令。
• 使用自动和人工评估指标，在 Flores 子集和 WMT22 测试集上评估生成的 ParroT 模型。

实验结果

研究问题

• RQ1 在聊天场景中，使用人工编写的翻译进行指令微调是否能显著提升开源 LLM 的翻译性能？
• RQ2 以错误引导指令形式引入人类反馈是否能带来可测量的翻译质量提升？
• RQ3 对比指令在帮助 LLM 区分高质量与低质量翻译方面有多有效？
• RQ4 当缺乏人工标注时，自动评估工具（如 COMET）是否能可靠地生成错误信号以构建有效的错误引导指令？
• RQ5 参数高效的微调（LoRA）在低资源和高资源语言对上在多大程度上保持了性能？

主要发现

• 翻译指令显著提升了原始 LLM 的翻译性能，尤其在英译其他语言方向表现更佳。
• 错误引导指令通过使模型能够生成无错误的翻译，进一步提升了翻译质量，凸显了从低质量、人工标注输出中学习的价值。
• 对比指令未带来性能提升，可能是因为 WMT 系统之间的质量差异细微，且指令格式不够理想。
• 基于 LoRA 的微调可防止过拟合，并在主流语言上实现更优性能，但会减缓低资源语言的学习速度。
• 在缺乏人工标注错误数据的情况下，COMET 等自动评估工具可有效生成质量信号，用于构建错误引导指令。
• ParroT 框架成功使开源 LLM 实现高质量的交互式聊天翻译，其能力可与专有模型比肩。