[论文解读] Towards Making the Most of ChatGPT for Machine Translation

Keqin Peng, Liang Ding+6 more|arXiv (Cornell University)|Mar 24, 2023

Topic Modeling被引用 17

一句话总结

该论文研究通过调整温度并使用任务特定提示（TSP）与领域特定提示（DSP）来优化 ChatGPT 的机器翻译性能，在多种设定中显示出改进，并在非英语任务中强调幻觉现象，以及在使用链式思维提示时的性能下降。

ABSTRACT

ChatGPT shows remarkable capabilities for machine translation (MT). Several prior studies have shown that it achieves comparable results to commercial systems for high-resource languages, but lags behind in complex tasks, e.g., low-resource and distant-language-pairs translation. However, they usually adopt simple prompts which can not fully elicit the capability of ChatGPT. In this paper, we aim to further mine ChatGPT's translation ability by revisiting several aspects: temperature, task information, and domain information, and correspondingly propose an optimal temperature setting and two (simple but effective) prompts: Task-Specific Prompts (TSP) and Domain-Specific Prompts (DSP). We show that: 1) The performance of ChatGPT depends largely on temperature, and a lower temperature usually can achieve better performance; 2) Emphasizing the task information can further improve ChatGPT's performance, particularly in complex MT tasks; 3) Introducing domain information can elicit ChatGPT's generalization ability and improve its performance in the specific domain; 4) ChatGPT tends to generate hallucinations for non-English-centric MT tasks, which can be partially addressed by our proposed prompts but still need to be highlighted for the MT/NLP community. We also explore the effects of advanced in-context learning strategies and find a (negative but interesting) observation: the powerful chain-of-thought prompt leads to word-by-word translation behavior, thus bringing significant translation degradation.

研究动机与目标

• 促使并评估提示设计与解码设置如何影响 ChatGPT 的 MT 质量。
• 识别 ChatGPT 在翻译任务中的最佳温度设置。
• 提出任务特定提示（TSP）和领域特定提示（DSP）以提升 MT 性能。
• 检视像少样本提示和链式推理等上下文学习策略对 MT 的影响。
• 突出非英语中心翻译中的幻觉等挑战。

提出的方法

• 系统性地改变 ChatGPT 的温度以评估不同语言方向的翻译质量。
• 在提示中引入任务特定提示（TSP），以强调翻译任务。
• 引入领域特定提示（DSP），注入领域信息并评估跨领域泛化。
• 评估少样本上下文学习（ICL）与采样策略（随机、TopK）在 MT 中的表现。
• 探索链式推理提示及其对翻译质量和逐词翻译行为的影响。
• 使用 Flores-200 和跨领域数据集（WMT19 Bio/News、WMT22 E-Commerce）并以 COMET 为主要指标，BLEU/ChrF 作为辅助指标。

实验结果

研究问题

• RQ1 ChatGPT 的翻译质量在不同语言和资源级别下随温度的变化情况如何？
• RQ2 任务特定提示（TSP）是否改善 ChatGPT 的 MT 性能，尤其是对低资源或远缘语言？
• RQ3 领域特定提示（DSP）是否能提升 ChatGPT 在跨领域（生物、新闻、电子商务）MT 的泛化能力？
• RQ4 少样本上下文学习和 TopK 采样对 MT 性能有何影响？
• RQ5 链式推理提示是否提升或降低 ChatGPT 的 MT 质量，原因何在？

主要发现

• 较低的温度通常带来更好的 MT 性能，在较高温度下对遥远语言（如汉语）存在更大衰减。
• 任务特定提示（TSP）持续提升 ChatGPT 的性能，尤其是对低资源或遥远语言，且在 COMET 指标上有增益。
• 领域特定提示（DSP）在某些领域提升 MT 性能，在某些数据集上甚至超越谷歌翻译；使用错误的领域信息（F-DSP）则降低性能。
• 少样本上下文学习（ICL）优于零样本，且在某些语言对上 TopK 采样有时超过谷歌翻译。
• 链式推理提示显著降低 MT 绩效，因为导致逐词翻译行为；零样本和 1-shot 的 CoT 结果混杂。
• ChatGPT 在非英语为中心的 MT 任务上易出现幻觉；应用 DSP 及后处理虽可降低但无法消除幻觉。