[论文解读] Translatotron 3: Speech to Speech Translation with Monolingual Data

Eliya Nachmani, Alon Levkovitch+4 more|arXiv (Cornell University)|May 27, 2023

Speech Recognition and Synthesis被引用 4

一句话总结

Translatotron 3 提出了一种完全无监督的端到端语音到语音翻译模型，该模型利用掩码自编码、多语言无监督嵌入映射（MUSE）和回译技术，在单语语音-文本数据集上进行训练。与级联基线模型相比，其 BLEU 分数提升了 18.14 分，且无需配对的双语数据即可保留说话人身份、语速等语用及非语言特征。

ABSTRACT

This paper presents Translatotron 3, a novel approach to unsupervised direct speech-to-speech translation from monolingual speech-text datasets by combining masked autoencoder, unsupervised embedding mapping, and back-translation. Experimental results in speech-to-speech translation tasks between Spanish and English show that Translatotron 3 outperforms a baseline cascade system, reporting $18.14$ BLEU points improvement on the synthesized Unpaired-Conversational dataset. In contrast to supervised approaches that necessitate real paired data, or specialized modeling to replicate para-/non-linguistic information such as pauses, speaking rates, and speaker identity, Translatotron 3 showcases its capability to retain it. Audio samples can be found at http://google-research.github.io/lingvo-lab/translatotron3

研究动机与目标

• 开发一种无需配对双语语音数据的端到端无监督语音到语音翻译系统。
• 在翻译过程中保留语用及非语言语音特征（如语速、停顿和说话人身份）。
• 在仅使用单语数据集的前提下，提升无监督级联基线模型的性能，并接近有监督 S2ST 模型的水平。
• 证明在统一训练框架中结合掩码自编码、无监督嵌入映射和回译技术的有效性。

提出的方法

• 该模型采用共享编码器和两个解码器（每种语言一个），分两个阶段训练：第一阶段作为带有 SpecAugment 的掩码自编码器，第二阶段通过回译进行训练。
• 采用无监督多语言嵌入映射（MUSE）技术，在无平行数据的情况下对齐跨语言表征。
• 通过自编码（第一阶段）和回译（第二阶段）两种方式应用重建损失，以确保跨语言的一致性。
• 训练目标结合了编码器输出处的 MUSE 损失、掩码自编码的重建损失以及用于跨语言对齐的回译损失。
• 模型仅在单语语音和文本数据集上进行训练，完全避免使用任何配对的语音语句。
• 推理过程中，共享编码器将输入语音编码为多语言嵌入空间，再由目标语言特定的解码器进行解码。

实验结果

研究问题

• RQ1 完全无监督的端到端 S2ST 模型是否能在不使用任何配对双语语音数据的情况下实现具有竞争力的性能？
• RQ2 在无显式监督的情况下，说话人身份和语速等语用及非语言特征在翻译中能被多大程度地保留？
• RQ3 掩码自编码、基于 MUSE 的嵌入映射和回译在无监督 S2ST 性能中如何协同作用？
• RQ4 所提出的方法是否在 BLEU 分数和自然度方面优于无监督级联基线模型，并接近有监督 S2ST 系统？

主要发现

• 在合成的无配对对话（UC）数据集上，Translatotron 3 相较于级联基线模型实现了 18.14 的 BLEU 分数提升。
• 在 CVSS 数据集上，其西班牙语到英语翻译的 BLEU 分数达到 24.27，与有监督模型的差距仅为 1.95 BLEU 分。
• 在 UC 数据集上，说话人身份的相似度得分为 0.62，显著优于随机说话人基线（0.16）。
• 对于真实语音数据，说话人相似度得分为 0.34，表明说话人特征得到了良好保留。
• 消融实验证明，重建损失和回译损失对性能贡献最大，MUSE 损失和 SpecAugment 也带来了显著提升。
• 定性分析显示，该模型在保留停顿和语速方面表现出色，相关结果可在项目官网查看。