[论文解读] Towards Unsupervised Speech-to-Text Translation

Yu-An Chung, Wei‐Hung Weng+2 more|arXiv (Cornell University)|Nov 4, 2018

Natural Language Processing Techniques参考文献 9被引用 5

一句话总结

该论文提出了一种仅使用单语语音和文本语料库进行训练的无监督语音到文本翻译框架，无需并行语音-转录本或文本-文本对。它通过从语音和文本嵌入中学习的跨模态双语词典初始化翻译，然后利用语言模型和序列去噪自编码器改进输出，尽管没有并行监督，仍达到了与有监督端到端模型相当的BLEU分数。

ABSTRACT

We present a framework for building speech-to-text translation (ST) systems using only monolingual speech and text corpora, in other words, speech utterances from a source language and independent text from a target language. As opposed to traditional cascaded systems and end-to-end architectures, our system does not require any labeled data (i.e., transcribed source audio or parallel source and target text corpora) during training, making it especially applicable to language pairs with very few or even zero bilingual resources. The framework initializes the ST system with a cross-modal bilingual dictionary inferred from the monolingual corpora, that maps every source speech segment corresponding to a spoken word to its target text translation. For unseen source speech utterances, the system first performs word-by-word translation on each speech segment in the utterance. The translation is improved by leveraging a language model and a sequence denoising autoencoder to provide prior knowledge about the target language. Experimental results show that our unsupervised system achieves comparable BLEU scores to supervised end-to-end models despite the lack of supervision. We also provide an ablation analysis to examine the utility of each component in our system.

研究动机与目标

• 开发一种无需任何并行训练数据的语音到文本翻译系统，从而可应用于低资源或零资源语言。
• 通过仅利用单语语音和文本语料库，克服低资源语音翻译中的数据稀缺问题。
• 通过整合上下文语言建模和序列去噪，提升无监督翻译质量。
• 验证无监督语音翻译能否达到有监督端到端模型的性能水平。

提出的方法

• 使用无监督语音切分从单语语音中提取类似单词的语音片段。
• 应用Speech2Vec从这些片段中学习密集且语义有意义的语音嵌入。
• 在单语文本上训练Word2Vec以学习目标语言的词嵌入。
• 采用无监督双语词典归纳方法（如VecMap、MUSE）在无并行数据的情况下对齐语音和文本嵌入空间。
• 通过在对齐的嵌入空间中进行最近邻搜索实现逐词翻译。
• 通过整合预训练语言模型实现上下文感知的词选择，以及通过序列去噪自编码器纠正局部重排和多对齐词，从而提升翻译质量。

实验结果

研究问题

• RQ1 能否在语音和文本之间完全无并行数据的情况下有效训练语音到文本翻译？
• RQ2 从单语语料中学习的跨模态双语词典在初始化无监督语音翻译中的有效性如何？
• RQ3 在缺乏监督的情况下，语言模型和序列去噪自编码器能在多大程度上提升翻译质量？
• RQ4 在低资源设置下，无监督系统的性能与有监督端到端模型相比如何？

主要发现

• 尽管缺乏任何并行训练数据，该无监督系统仍达到了与有监督端到端模型相当的BLEU分数。
• VecMap在无监督双语词典归纳中优于MUSE，表现出更高的稳定性和在多样化设置下的更好性能。
• 整合大规模语言模型（如在Wikipedia上预训练的模型）显著提升了翻译质量，优于小型或领域特定的语言模型。
• 序列去噪自编码器能有效纠正句法错误和局部重排，进一步提升性能以匹配有监督基线。
• 即使语音和文本语料是独立收集的（无对齐），该框架仍保持强劲性能，仅比对齐设置略有下降。