[论文解读] Neural Machine Translation of Logographic Languages Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|Sep 7, 2018

Natural Language Processing Techniques被引用 3

一句话总结

本文提出了一种针对表意文字语言（如中文和日文）神经机器翻译（NMT）的子字符级别编码方法，通过利用字符间的共享组件来提升翻译性能。通过将字符分解为子字符单元，该模型增强了对齐能力和泛化能力，在中文-英文和中文-日文翻译任务中均取得显著改进，尤其在字符相似性较高的情况下表现更优。

ABSTRACT

Recent neural machine translation (NMT) systems have been greatly improved by encoder-decoder models with attention mechanisms and sub-word units. However, important differences between languages with logographic and alphabetic writing systems have long been overlooked. This study focuses on these differences and uses a simple approach to improve the performance of NMT systems utilizing decomposed sub-character level information for logographic languages. Our results indicate that our approach not only improves the translation capabilities of NMT systems between Chinese and English, but also further improves NMT systems between Chinese and Japanese, because it utilizes the shared information brought by similar sub-character units.

研究动机与目标

• 解决在表意文字（如中文和日文）神经机器翻译中子字符级别信息利用不足的问题。
• 探究表意文字书写系统之间共享的子字符组件如何提升翻译性能。
• 开发并评估一种简单而有效的将子字符表示融入神经机器翻译架构的方法。
• 改善在表意语言对中常见的低资源和高字符变异性设置下的翻译质量。

提出的方法

• 该模型采用基于子字符分解的字符级编码器-解码器架构，将每个字符视为更小、可重用的组件的组合。
• 子字符单元可被学习或预先定义，使模型能够捕捉字符之间的形态和语义相似性。
• 该方法将子字符表示集成到嵌入层中，从而在罕见或未见字符上实现更好的泛化能力。
• 注意力机制应用于子字符单元，以改善源序列与目标序列之间的对齐。
• 该方法在并行单语语料库上端到端训练，无需外部词典或基于规则的预处理。
• 该架构在中文-英文和中文-日文翻译任务上使用标准WMT基准进行评估。

实验结果

研究问题

• RQ1 子字符级别信息能否提升表意文字神经机器翻译的性能？
• RQ2 子字符分解在低资源或高字符变异性设置下对翻译质量有何影响？
• RQ3 中文与日文之间共享的子字符单元在神经机器翻译中对跨语言迁移的贡献程度如何？
• RQ4 子字符建模是否能提升对罕见或未登录词的泛化能力？

主要发现

• 所提出的子字符方法在中文-英文和中文-日文翻译任务中显著提升了翻译性能。
• 与标准字符级和词级基线相比，该模型在罕见字符上的BLEU得分更高。
• 中文与日文之间共享的子字符单元有助于提升跨语言翻译中的零样本和少样本泛化能力。
• 该方法通过利用子字符的组合特性，在处理未登录词方面表现出稳健性。