[论文解读] Universal Phone Recognition with a Multilingual Allophone System

Xinjian Li, Siddharth Dalmia+9 more|arXiv (Cornell University)|Feb 26, 2020

Speech Recognition and Synthesis参考文献 25被引用 7

一句话总结

该论文提出 Allosaurus，一种多语言声学模型，通过使用音位层将语言无关的音素与语言相关的音位联合建模，实现音位映射。通过利用语音学知识和通用音素集合，该模型在低资源设置下将多语言自动语音识别（ASR）的音素错误率绝对降低2.0%，并实现了近乎通用的音素识别，结合 PHOIBLE 数据库后，在未见过的土著语言（如因纽特语和图索姆语）上音素准确率提高了17%。

ABSTRACT

Multilingual models can improve language processing, particularly for low resource situations, by sharing parameters across languages. Multilingual acoustic models, however, generally ignore the difference between phonemes (sounds that can support lexical contrasts in a particular language) and their corresponding phones (the sounds that are actually spoken, which are language independent). This can lead to performance degradation when combining a variety of training languages, as identically annotated phonemes can actually correspond to several different underlying phonetic realizations. In this work, we propose a joint model of both language-independent phone and language-dependent phoneme distributions. In multilingual ASR experiments over 11 languages, we find that this model improves testing performance by 2% phoneme error rate absolute in low-resource conditions. Additionally, because we are explicitly modeling language-independent phones, we can build a (nearly-)universal phone recognizer that, when combined with the PHOIBLE large, manually curated database of phone inventories, can be customized into 2,000 language dependent recognizers. Experiments on two low-resourced indigenous languages, Inuktitut and Tusom, show that our recognizer achieves phone accuracy improvements of more than 17%, moving a step closer to speech recognition for all languages in the world.

研究动机与目标

• 为解决多语言 ASR 中音位（语言特异性对比）与音素（实际语音发音）之间的不匹配问题，该问题在整合多种语言时会降低性能。
• 通过共享的语言无关音素表示，利用跨语言语音学知识，提升低资源语音识别性能。
• 实现可针对任意语言定制的通用音素识别，利用如 PHOIBLE 这类大规模、经整理的音素集合，而无需语言特异性训练数据。
• 通过显式建模音位变体（allophones），克服现有共享音位与私有音位模型的局限，保留跨语言的精细语音区分。

提出的方法

• 引入一种音位层，利用语言学启发的音位变体列表，将通用的窄音素集合（如 [p]、[pʰ]）映射到语言特异的音位（如 /p/）。
• 仅使用标准音位转写和预定义的音位变体映射，端到端训练模型，通过语音学家标注的数据初始化该层，并在训练过程中进行微调。
• 通过合并11种训练语言的音素，构建通用音素集合，共包含187个不同音素，以支持通用识别。
• 通过与 PHOIBLE 数据库集成，将通用识别器定制用于任意语言，该数据库提供语言特异的音素集合。
• 使用模型直接将语音解码为音素，即使在训练中未见过的语言中也能识别精细的语音差异。
• 通过结合 PHOIBLE 的语言特异音素集合，将模型应用于低资源语言（如因纽特语和图索姆语），显著降低音素错误率。

实验结果

研究问题

• RQ1 多语言声学模型是否能通过显式建模音素与音位之间的区别，改善低资源语音识别？
• RQ2 在音素与音位之间引入音位变体级映射，是否能优于标准的共享音位或私有音位模型？
• RQ3 一个单一模型是否能在无需语言特异性训练数据的情况下，实现对多种语言的近乎通用的音素识别？
• RQ4 在使用外部语音学数据库（如 PHOIBLE）的情况下，通用音素识别器在多大程度上可被定制用于新语言？
• RQ5 与标准多语言方法相比，该模型在未见过的、低资源的土著语言上的表现如何？

主要发现

• 与共享音位模型相比，Allosaurus 模型在低资源设置下将多语言 ASR 的音素错误率绝对降低了 2.0%。
• 在因纽特语上达到 84.1% 的音素错误率，在图索姆语上达到 77.3%，显著优于基线模型（错误率超过 85%）。
• 结合 PHOIBLE 数据库后，因纽特语的音素错误率进一步降至 73.1%，图索姆语降至 64.2%，平均性能提升 17%。
• 该模型成功区分了英语中同一音位 /p/ 的音位变体 [pʰ] 和 [p]，证明其能够学习精细的语音区分。
• 通用音素集合平均覆盖 PHOIBLE 中 82% 的语言，标准差为 12.8%，在地理区域上表现出一致的覆盖范围。
• 当使用 PHOIBLE 的语言特异音素集合时，相似音素（如 [e] 与 [i]）之间的替换错误减少，表明语音学约束有助于解决模糊的音素预测。