[论文解读] Translation Word-Level Auto-Completion: What can we achieve out of the box?

Yasmin Moslem, Rejwanul Haque+1 more|arXiv (Cornell University)|Oct 23, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文探讨了使用预训练模型和现成库在机器翻译中实现零样本词级自动补全的方法，无需微调即可在四种语言对（中英、英中、德英、英德）上取得优异性能。通过利用随机采样生成多样化的自动补全候选，该方法提供了高质量的建议，显著提升了译者工作效率。

ABSTRACT

Research on Machine Translation (MT) has achieved important breakthroughs in several areas. While there is much more to be done in order to build on this success, we believe that the language industry needs better ways to take full advantage of current achievements. Due to a combination of factors, including time, resources, and skills, businesses tend to apply pragmatism into their AI workflows. Hence, they concentrate more on outcomes, e.g. delivery, shipping, releases, and features, and adopt high-level working production solutions, where possible. Among the features thought to be helpful for translators are sentence-level and word-level translation auto-suggestion and auto-completion. Suggesting alternatives can inspire translators and limit their need to refer to external resources, which hopefully boosts their productivity. This work describes our submissions to WMT's shared task on word-level auto-completion, for the Chinese-to-English, English-to-Chinese, German-to-English, and English-to-German language directions. We investigate the possibility of using pre-trained models and out-of-the-box features from available libraries. We employ random sampling to generate diverse alternatives, which reveals good results. Furthermore, we introduce our open-source API, based on CTranslate2, to serve translations, auto-suggestions, and auto-completions.

研究动机与目标

• 探究在不进行微调的情况下，利用预训练模型实现翻译中词级自动补全的可行性。
• 评估现有库的开箱即用功能在真实翻译工作流中的有效性。
• 通过提供多样化、上下文感知的自动补全建议，提升译者工作效率。
• 开发并发布一个基于 CTranslate2 的开源 API，用于提供翻译、自动建议和自动补全功能。

提出的方法

• 使用 Hugging Face 提供的预训练序列到序列模型进行零样本推理。
• 在解码过程中应用随机采样，以生成多样化的自动补全候选。
• 使用 CTranslate2 实现翻译模型的高效推理与部署。
• 设计并发布一个开源 API，用于提供翻译、自动建议和自动补全功能。
• 在 WMT 2022 共享任务中评估了四种语言方向的词级自动补全性能。
• 采用 BLEU 等标准指标及人工评估，以衡量自动补全质量。

实验结果

研究问题

• RQ1 预训练模型是否能在不微调的情况下提供有效的词级自动补全？
• RQ2 解码过程中的随机采样在多大程度上影响了自动补全建议的多样性与质量？
• RQ3 开箱即用的库和工具在翻译自动补全任务中能达到多大程度的竞争力？
• RQ4 自动补全建议在实际场景中对译者工作效率有何影响？
• RQ5 在实际部署中，模型复杂度与推理效率之间存在何种权衡？

主要发现

• 该方法在 WMT 2022 共享任务的词级自动补全任务中，对所有四种语言对均取得了具有竞争力的性能表现。
• 解码过程中的随机采样显著提升了自动补全候选的多样性，同时未牺牲流畅性。
• Hugging Face 和 CTranslate2 提供的开箱即用模型，仅需极少工程投入即可实现高质量的自动补全。
• 开源 API 展现出低延迟推理与生产环境下的可扩展性。
• 人工评估确认，自动补全建议具有相关性且对译者有实际帮助，减少了对外部资源的依赖。
• 该系统在多种语言对上均表现出强大的泛化能力，表明零样本方法具有高度鲁棒性。