[论文解读] Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation

Minsu Kim, Jeongsoo Choi+2 more|arXiv (Cornell University)|Aug 3, 2023

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出统一单元翻译（UTUT），一种统一框架，通过将语音单元作为共享离散表示，使用单一模型学习多语言语音与文本表征。通过条件化源语言和目标语言标记，UTUT 实现了多对多的语音到语音翻译，并能有效迁移至文本到语音合成与文本到语音翻译任务，在预训练阶段无需显式文本的情况下实现最先进性能，包括对未见过的语言对实现零样本翻译。

ABSTRACT

This paper proposes a textless training method for many-to-many multilingual speech-to-speech translation that can also benefit the transfer of pre-trained knowledge to text-based systems, text-to-speech synthesis and text-to-speech translation. To this end, we represent multilingual speech with speech units that are the discretized representations of speech features derived from a self-supervised speech model. By treating the speech units as pseudo-text, we can focus on the linguistic content of the speech, which can be easily associated with both speech and text modalities at the phonetic level information. By setting both the inputs and outputs of our learning problem as speech units, we propose to train an encoder-decoder model in a many-to-many spoken language translation setting, namely Unit-to-Unit Translation (UTUT). Specifically, the encoder is conditioned on the source language token to correctly understand the input spoken language, while the decoder is conditioned on the target language token to generate the translated speech in the target language. Therefore, during the training, the model can build the knowledge of how languages are comprehended and how to relate them to different languages. Since speech units can be easily associated from both audio and text by quantization and phonemization respectively, the trained model can easily transferred to text-related tasks, even if it is trained in a textless manner. We demonstrate that the proposed UTUT model can be effectively utilized not only for Speech-to-Speech Translation (S2ST) but also for multilingual Text-to-Speech Synthesis (T2S) and Text-to-Speech Translation (T2ST), requiring only minimal fine-tuning steps on text inputs. By conducting comprehensive experiments encompassing various languages, we validate the efficacy of the proposed method across diverse multilingual tasks.

研究动机与目标

• 使用单一模型学习语音与文本的统一多语言表征，以克服语音的连续性和说话人相关性带来的挑战。
• 通过单一预训练模型实现跨多种语言的多对多口语语言翻译。
• 在预训练阶段无需文本输入的情况下，将预训练模型迁移至文本相关任务（如 TTS 和 TTST）。
• 探究语音单元是否可作为语音与文本之间的有效桥梁，实现端到端多语言处理。
• 在多种多语言任务中验证 UTUT 的有效性，包括对未见过语言对的零样本翻译。

提出的方法

• 通过自监督语音表征（如 HuBERT）的量化，将多语言语音音频转换为离散语音单元。
• 模型采用序列到序列的编码器-解码器架构，输入和输出序列均为语音单元标记。
• UTUT 目标通过在编码器中条件化源语言标记、在解码器中条件化目标语言标记，实现跨语言翻译。
• 使用掩码单元预测目标对多语言语音单元数据进行预训练，学习在不同语言间重建和翻译语音单元。
• 预训练完成后，通过利用语音单元与文本之间的统一表征空间，可使用文本输入对模型进行微调，从而实现文本到语音合成与文本到语音翻译。
• 通过在单元空间中共享的多语言表征，该框架支持对训练期间未见过的语言对实现零样本翻译。

实验结果

研究问题

• RQ1 单一模型能否仅使用语音单元作为共享输入格式，学习语音与文本的统一多语言表征？
• RQ2 所提出的 UTUT 框架能否实现跨多种语言对（包括训练期间未见的语言对）的多对多语音到语音翻译？
• RQ3 在语音单元和 UTUT 目标上进行预训练，是否能有效迁移至无需预训练阶段使用文本的文本相关下游任务（如 TTS 和 TTST）？
• RQ4 UTUT 的性能与现有多语言 TTS 和 STS 系统相比如何，特别是在零样本设置下？
• RQ5 输入掩码是否对 UTUT 预训练有益，如同在自回归语言建模中一样？

主要发现

• UTUT 在六种语言（En, Es, Fr, It, De, Nl）上实现了 4.44 的平均意见得分（MOS），优于最先进的多语言 TTS 系统（如 YourTTS 和 LAML），尽管其预训练阶段未使用文本。
• 在文本到语音翻译（TTST）任务中，模型的 BLEU 分数与自身语音到语音翻译（STS）性能相当，证实了从语音模态到文本模态的有效迁移。
• UTUT 可成功实现对训练期间未见的语言对之间的零样本翻译，包括 Pt-Es、Pt-Fr、Pt-It、Pt-De 和 Pt-Nl，展示了强大的多语言泛化能力。
• 消融研究显示，预训练期间的输入掩码并未提升 UTUT 性能；0% 掩码设置始终优于其他变体，表明在此设置中，跨语言对齐比重建更为关键。
• 字符错误率（CER）评估表明，由文本生成的 UTUT 语音比从真实语音单元重合成的语音更具可懂性，表明模型能够抑制原始音频中的噪声和伪影。
• 尽管 mBART 在 80,000 小时英语和西班牙语数据上进行预训练，UTUT 模型在 STS 任务上的表现仍优于 mBART，证实了 UTUT 预训练目标的有效性。