[论文解读] Translation of Patent Sentences with a Large Vocabulary of Technical Terms Using Neural Machine Translation

Zi Long, Takehito Utsuro+2 more|arXiv (Cornell University)|Apr 14, 2017

Statistical and Computational Modeling被引用 7

一句话总结

本文提出一种混合神经机器翻译（NMT）方法，用于翻译日语-中文专利语句，其词汇量庞大且包含大量罕见技术术语。通过在NMT训练期间将技术术语替换为占位符，并使用SMT对这些标记进行后处理翻译，该方法提升了翻译准确性，相较于基线SMT系统，BLEU得分最高提升3.1点，RIBES得分提升2.3点；相较于未采用该技术的等效NMT系统，BLEU得分提升0.6点，RIBES得分提升0.8点。

ABSTRACT

Neural machine translation (NMT), a new approach to machine translation, has achieved promising results comparable to those of traditional approaches such as statistical machine translation (SMT). Despite its recent success, NMT cannot handle a larger vocabulary because training complexity and decoding complexity proportionally increase with the number of target words. This problem becomes even more serious when translating patent documents, which contain many technical terms that are observed infrequently. In NMTs, words that are out of vocabulary are represented by a single unknown token. In this paper, we propose a method that enables NMT to translate patent sentences comprising a large vocabulary of technical terms. We train an NMT system on bilingual data wherein technical terms are replaced with technical term tokens; this allows it to translate most of the source sentences except technical terms. Further, we use it as a decoder to translate source sentences with technical term tokens and replace the tokens with technical term translations using SMT. We also use it to rerank the 1,000-best SMT translations on the basis of the average of the SMT score and that of the NMT rescoring of the translated sentences with technical term tokens. Our experiments on Japanese-Chinese patent sentences show that the proposed NMT system achieves a substantial improvement of up to 3.1 BLEU points and 2.3 RIBES points over traditional SMT systems and an improvement of approximately 0.6 BLEU points and 0.8 RIBES points over an equivalent NMT system without our proposed technique.

研究动机与目标

• 解决专利文档中存在大量罕见多词技术术语所带来的翻译挑战。
• 克服标准NMT系统在处理专利文本中频繁出现的未登录词（OOV）技术术语时的局限性。
• 通过结合NMT的流畅性与SMT在技术术语上的精确性，提升日语-中文专利语句的翻译质量。
• 开发一种重排序与重排序机制，利用SMT与NMT得分联合选择更高质量的翻译结果。
• 在真实世界专利翻译基准上展示该方法的有效性，其性能优于传统SMT与基线NMT系统。

提出的方法

• 将双语训练数据中的所有技术术语替换为唯一的术语标记（TTs），使NMT模型能够在不被罕见术语干扰的情况下学习一般句子结构。
• 在经修改的双语语料上训练NMT模型，其中仅翻译句子的非技术部分，而技术术语以占位符表示。
• 使用训练好的NMT模型作为解码器，对仍包含技术术语标记的源句生成翻译，输出序列中包含TTs。
• 通过使用基于短语的SMT系统（基于并行短语表训练）对NMT输出进行后处理，将每个技术术语标记替换为其对应翻译。
• 通过计算SMT得分与NMT重评分得分的平均值，对SMT的1,000个最佳候选翻译进行重排序，选择得分最高的输出。
• 以两种配置应用该方法：直接翻译结合SMT后处理翻译，以及使用NMT重评分对SMT的n-best列表进行重排序。

实验结果

研究问题

• RQ1 在仅包含技术术语标记的词汇量缩减并行语料上训练的NMT系统，是否能提升包含罕见技术术语的专利语句的翻译质量？
• RQ2 与纯NMT或SMT相比，SMT对技术术语标记进行后处理翻译的整合方式，对整体翻译质量有何影响？
• RQ3 基于NMT的SMT n-best翻译重评分，在BLEU与RIBES指标上，能将翻译性能提升到何种程度？
• RQ4 该方法是否在处理专利文档中的多词技术术语方面，优于基线SMT与等效NMT系统？
• RQ5 该混合NMT-SMT方法能否有效处理未登录的技术术语，这些术语并非孤立单词，而是具有特定翻译的复杂多词短语？

主要发现

• 所提出的NMT系统在日语-中文专利语句翻译任务中，相较于传统基于短语的SMT系统，BLEU得分最高提升3.1点，RIBES得分提升2.3点。
• 相较于未采用该技术术语处理方法的等效NMT系统，该方法使翻译性能提升约0.6 BLEU点与0.8 RIBES点。
• 采用SMT与NMT得分平均值的重排序方法取得了最高的BLEU得分，表明基于NMT的重评分能有效从SMT的n-best列表中识别出更优翻译。
• 解码方法（直接NMT结合SMT后处理）在RIBES得分上表现最佳，且人类评估得分最高，表明其在流畅性与句法正确性方面更优。
• 系统能正确将复杂技术术语如“laminated wafer”翻译为中文的“多层片状晶圆”，而基线系统则产生语法错误或语义不准确的表达。
• 该方法通过将多词技术术语作为单一单元处理，有效保持了术语的完整性，避免了对各组成部分的错误分割或翻译。