[论文解读] Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection

Nicholas Cheng|arXiv (Cornell University)|Jan 27, 2026

Natural Language Processing Techniques被引用 0

一句话总结

本文提出 Reflective Translation，一种提示框架，让大语言模型在翻译过程中进行结构化自我批评与修订，以在不进行微调的情况下提升低资源英语–isiZulu 和英语–isiXhosa 机器翻译的质量。它发布一个用于可重复性的反思增强数据集，显示在不同提示下的二次修订具有一致的收益。

ABSTRACT

Low-resource languages such as isiZulu and isiXhosa face persistent challenges in machine translation due to limited parallel data and linguistic resources. Recent advances in large language models suggest that self-reflection, prompting a model to critique and revise its own outputs, can improve reasoning quality and factual consistency. Building on this idea, this paper introduces Reflective Translation, a prompt-based framework in which a model generates an initial translation, produces a structured self-critique, and then uses this reflection to generate a refined translation. The approach is evaluated on English-isiZulu and English-isiXhosa translation using OPUS-100 and NTREX-African, across multiple prompting strategies and confidence thresholds. Results show consistent improvements in both BLEU and COMET scores between first- and second-pass translations, with average gains of up to +0.22 BLEU and +0.18 COMET. Statistical significance testing using paired nonparametric tests confirms that these improvements are robust. The proposed method is model-agnostic, requires no fine-tuning, and introduces a reflection-augmented dataset that can support future supervised or analysis-driven work. These findings demonstrate that structured self-reflection is a practical and effective mechanism for improving translation quality in low-resource settings.

研究动机与目标

• 通过有限并行数据来提升低资源语言的 MT 表现的动机与意义。
• 探究推理时的自我反思是否能在不微调的情况下提高翻译的忠实性。
• 使用公开的 MT 数据集，在 isiZulu 与 isiXhosa 上开发结构化反思框架与评估。
• 发布可复现的反思增强数据集，包含 source-draft-critique-revision 四元组。

提出的方法

• 用 LLM 生成初始翻译。
• 生成结构化反思，识别错误、修正与关键内容。
• 用 RAKE 基于标记对显著内容进行掩码，以强制语义纠正。
• 在批评指导下进行第二遍翻译。
• 用 OPUS-100 和 NTREX-African 的 BLEU 和 COMET 评估翻译。
• 比较 Baseline、Chain-of-Thought 与 Few-shot 提示策略。

实验结果

研究问题

• RQ1 推理时的结构化自我反思在不微调的情况下是否能提升低资源语言的翻译忠实性？
• RQ2 在英文–isiZulu 与英文–isiXhosa 中，第二遍翻译是否在各提示策略下优于第一遍输出？
• RQ3 将 RAKE 提取的掩码化对减少复制、促进语义纠正有何作用？

主要发现

• 第二遍翻译在各提示策略下持续优于第一遍翻译。
• 在语义等效性方面，COMET 的增益通常更大且更稳定，BLEU 增益表现较弱。
• 置信度阈值化在覆盖度与 Refined 样本的平均改进之间存在权衡。
• 统计检验显示显著改进：BLEU 中位数增益 +0.0788（p=1.45e-44，r=0.95）；COMET 中位数增益 +0.1753（p=1.10e-65，r=0.96）。
• 带反思的少样本提示在各策略中带来最稳定的增益。