[论文解读] Transliteration in Any Language with Surrogate Languages

Stephen Mayhew, Christos Christodoulopoulos+1 more|arXiv (Cornell University)|Sep 14, 2016

Natural Language Processing Techniques参考文献 15被引用 3

一句话总结

本文提出一种方法，利用维基百科作为替代训练数据源，在无需目标语言直接训练数据的情况下，实现任意语言的音译生成，即使对于低资源语言亦可适用。通过基于字符脚本相似性、音素库相似性以及学习到的嵌入表示对维基百科语言进行排序，该方法在性能上达到或超过已知最优语言的“理想模型”（oracle）水平，且在某些情况下，通过融合多个候选语言的加权投票结果甚至优于理想模型。

ABSTRACT

We introduce a method for transliteration generation that can produce transliterations in every language. Where previous results are only as multilingual as Wikipedia, we show how to use training data from Wikipedia as surrogate training for any language. Thus, the problem becomes one of ranking Wikipedia languages in order of suitability with respect to a target language. We introduce several task-specific methods for ranking languages, and show that our approach is comparable to the oracle ceiling, and even outperforms it in some cases.

研究动机与目标

• 在无需目标语言直接训练数据的前提下，实现任意语言（包括低资源语言）的音译生成。
• 解决现有方法仅依赖语料库中已存在语言的维基百科数据这一局限性。
• 开发一种面向任务的语种相似性度量方法，用于评估维基百科语言作为替代训练源的适用性。
• 证明替代语言选择可达到甚至超越已知最优语言的“理想模型”性能。

提出的方法

• 该方法使用131种维基百科语言（每种语言至少包含200对姓名对）作为潜在的替代语言，记为集合 $\mathcal{W}$。
• 所有文本通过 uroman 工具进行拉丁化，以将脚本统一为拉丁字母，从而支持跨语言的训练与测试。
• 通过三种度量方式计算语种相似性：脚本分布相似性（字符直方图的余弦相似度）、音素库相似性（IPA音素的F1分数）以及从音译模型中学习到的嵌入表示。
• 基于最高相似度得分选择最优替代语言，并使用英语-替代语言对训练音译模型，以生成目标语言 $T$ 的音译结果。
• 为提升性能，将多个最优替代语言的预测结果通过加权投票方式融合，方法为对每个模型输出的n-best列表进行加权整合。
• 该方法在9种低资源目标语言上通过平均倒数排名（MRR）进行评估，候选语言列表中排除目标语言本身，以模拟低资源场景。

实验结果

研究问题

• RQ1 能否利用维基百科中的替代语言训练出性能与直接在目标语言上训练的音译模型相当的模型？
• RQ2 脚本、音素和学习嵌入三种语种相似性度量方法在选择最优替代语言时的有效性如何？
• RQ3 结合多个最优替代语言的预测结果，是否能超越单一最佳替代语言甚至理想模型的性能？
• RQ4 作为简单且知识依赖少的度量方式，脚本相似性是否优于更复杂的音素或学习相似性度量？
• RQ5 在目标语言无任何训练数据的低资源场景下，基于替代语言的方法是否能超越理想模型的性能？

主要发现

• 脚本相似性优于音素和学习嵌入相似性度量，在所有目标语言上均取得最高的平均MRR得分。
• 在9种目标语言中的4种中，所预测的最优替代语言与理想模型的选择一致，且其性能始终接近理想模型。
• 在新毗舍（Newar）和乌兹别克语（Uzbek）中，前5名组合替代语言的性能超越理想模型，MRR得分分别为24.81*和44.37*，表明该方法在某些情况下可超越理想模型。
• 即使目标语言在维基百科中无任何数据，该方法仍能达到或优于直接在目标语言上训练的性能。
• 在9种语言中的7种中，对前5名替代语言进行加权投票可提升性能，其中两种情况的性能超过理想模型。