[论文解读] Sequence-to-sequence neural network models for transliteration

Mihaela Rosca, Thomas M. Breuel|arXiv (Cornell University)|Oct 29, 2016

Natural Language Processing Techniques参考文献 15被引用 57

一句话总结

本文提出端到端的序列到序列神经网络用于跨脚本音译，采用带有 CTC 对齐的 epsilon 插入方法与注意力机制模型，在阿拉伯语到英语、英语到日语以及英语到国际音标（IPA）的音译任务中达到最先进或接近最先进性能。研究发布了新的开源阿拉伯语-英语数据集及训练好的模型，以支持可复现性与基准测试。

ABSTRACT

Transliteration is a key component of machine translation systems and software internationalization. This paper demonstrates that neural sequence-to-sequence models obtain state of the art or close to state of the art results on existing datasets. In an effort to make machine transliteration accessible, we open source a new Arabic to English transliteration dataset and our trained models.

研究动机与目标

• 开发端到端的神经序列到序列音译模型，绕过传统的统计建模与对齐步骤。
• 评估在多种音译任务中，使用 CTC 的 epsilon 插入与注意力机制序列到序列模型的性能。
• 通过创建并发布一个新的多样化阿拉伯语到英语音译语料库，解决现有数据集的局限性。
• 通过探索语音与拼写特征的整合，并评估预测中的错误类型，改进音译系统。
• 通过开源数据集与训练好的模型，为未来研究提供可复现的基准。

提出的方法

• 采用 epsilon 插入技术，通过在输入序列中插入特殊符号（'_'）实现可变长度输出序列，利用连接时序分类（CTC）实现对齐。
• 为 epsilon 插入模型采用双向 LSTM 编码器与 CTC 解码器，训练模型从修改后的源序列预测目标拼写。
• 应用基于注意力机制的序列到序列模型，采用编码器-解码器 RNN 架构，解码器在每个输出步骤关注输入的相关部分。
• 将输入与输出处理为 Unicode 码点，支持多语言字符，包括变音符号与特殊符号。
• 使用 TensorFlow 训练模型，采用 GRU 或 LSTM 单元，并在编码过程中反转输入序列以改善梯度流动。
• 在所有任务中使用字符错误率（CER）与词错误率（WER）作为评估指标，并与先前工作进行比较。

实验结果

研究问题

• RQ1 端到端的序列到序列神经网络是否能在音译任务中超越传统统计模型？
• RQ2 在不同语言对中，基于注意力机制的序列到序列模型与使用 CTC 的 epsilon 插入模型在音译准确率方面有何差异？
• RQ3 神经音译模型中的主要错误模式是什么？它们与源脚本与目标脚本之间的语音与拼写差异有何关联？
• RQ4 训练数据的局限性（如忽略词频，将多个有效音译视为错误）在多大程度上影响模型性能？
• RQ5 与仅使用图素输入相比，结合音素与图素输入是否能提升音译性能？

主要发现

• 基于注意力机制的序列到序列模型在三个基准任务中均达到最先进或接近最先进性能：阿拉伯语到英语（CER: 7.38）、英语到日语（CER: 50.2）以及英语到 IPA（WER: 26.2）。
• 在英语到 IPA 音译任务中，模型达到 WER 26.2，优于 Yao 和 Zweig（2015）在相同数据集上的 WER 28.6。
• 使用 CTC 的 epsilon 插入模型在阿拉伯语到英语音译任务中达到 CER 7.38，尽管架构更简单，仍表现出色。
• 常见错误包括因阿拉伯语与英语中元音表示方式不同导致的元音混淆，以及因阿拉伯语中缺乏对应音素导致的 'p' 与 'b' 声音混淆。
• 基于注意力机制的模型在英语到 IPA 任务中优于 Yao 和 Zweig（2015）的无注意力模型，但后者使用双向 LSTM 与对齐特征的模型仍表现更优，表明显式对齐特征可能比隐式注意力更有效。
• 本研究指出，字符错误率与词错误率独立变化，提示音译研究需采用更细致的评估指标。