[论文解读] Translatotron 2: Robust direct speech-to-speech translation.

Jia Ye, Michelle Tadmor Ramanovich+2 more|arXiv (Cornell University)|Jul 19, 2021

Speech Recognition and Synthesis参考文献 47被引用 14

一句话总结

Translatotron 2 是一种端到端神经语音到语音翻译模型，可提升翻译质量与语音自然度，同时减少过度生成的伪影（如无意义话语和停顿）。该模型整合了语音编码器、音素解码器、梅尔频谱图合成器及注意力机制，并引入说话人语音保留技术，以增强鲁棒性并防止在生产环境中被滥用。

ABSTRACT

We present Translatotron 2, a neural direct speech-to-speech translation model that can be trained end-to-end. Translatotron 2 consists of a speech encoder, a phoneme decoder, a mel-spectrogram synthesizer, and an attention module that connects all the previous three components. Experimental results suggest that Translatotron 2 outperforms the original Translatotron by a large margin in terms of translation quality and predicted speech naturalness, and drastically improves the robustness of the predicted speech by mitigating over-generation, such as babbling or long pause. We also propose a new method for retaining the source speaker's voice in the translated speech. The trained model is restricted to retain the source speaker's voice, and unlike the original Translatotron, it is not able to generate speech in a different speaker's voice, making the model more robust for production deployment, by mitigating potential misuse for creating spoofing audio artifacts. When the new method is used together with a simple concatenation-based data augmentation, the trained Translatotron 2 model is able to retain each speaker's voice for input with speaker turns.

研究动机与目标

• 开发一种更鲁棒且自然的端到端语音到语音翻译系统，超越先前模型的表现。
• 缓解合成语音中过度生成问题，如无意义话语和长时间停顿。
• 在翻译输出中保留源说话人的语音特征，提升真实感并降低欺骗风险。
• 通过限制语音合成仅使用源说话人语音，实现生产环境的部署。
• 通过新颖的语音保留方法与数据增强技术结合，提升模型鲁棒性。

提出的方法

• 模型架构集成了语音编码器、音素解码器、梅尔频谱图合成器以及连接所有组件的注意力模块。
• 引入一种新型语音保留机制，确保翻译后的语音保留源说话人的语音特征。
• 通过约束训练实现端到端训练，防止模型以不同说话人的语音生成内容。
• 采用基于拼接的数据增强技术，提升多说话人输入中说话人转换的处理能力。
• 注意力模块动态对齐语音编码器输出与音素解码器及合成器，实现更优的上下文融合。
• 系统采用序列到序列框架，联合优化翻译与语音合成组件。

实验结果

研究问题

• RQ1 端到端语音到语音翻译模型是否能显著优于先前模型，在翻译质量与语音自然度方面表现更优？
• RQ2 该模型在缓解过度生成伪影（如无意义话语和长时间停顿）方面效果如何？
• RQ3 该模型能否可靠地在翻译语音中保留源说话人的语音，防止被滥用？
• RQ4 语音保留在多大程度上提升了模型在真实场景部署中的鲁棒性？
• RQ5 数据增强在多说话人场景下如何提升模型处理说话人转换的能力？

主要发现

• Translatotron 2 在翻译质量与语音自然度方面显著优于原始的 Translatotron 模型。
• 该模型大幅减少了过度生成伪影，如无意义话语和长时间停顿。
• 成功强制实施了语音保留机制，防止模型以不同说话人的语音生成内容。
• 语音保留与数据增强的结合，使模型能有效处理输入语音中的说话人转换。
• 通过约束语音合成，有效降低欺骗风险，使模型在生产部署中具备更强鲁棒性。
• 得益于所提出的语音保留方法与数据增强技术，即使在多说话人语音输入下，系统仍能保持高性能。