[论文解读] SDST: Successive Decoding for Speech-to-text Translation.

Qianqian Dong, Mingxuan Wang+4 more|arXiv (Cornell University)|Sep 21, 2020

Natural Language Processing Techniques参考文献 36被引用 4

一句话总结

该论文提出SDST，一种用于端到端语音转文本翻译的连续解码框架，通过将翻译过程分解为一系列顺序步骤，降低了直接跨模态、跨语言映射的复杂度。实验表明，SDST在两个主流数据集上显著优于先前的最先进方法。

ABSTRACT

End-to-end speech-to-text translation (ST), which directly translates the source language speech to the target language text, has attracted intensive attention recently. However, the combination of speech recognition and machine translation in a single model poses a heavy burden on the direct cross-modal cross-lingual mapping. To reduce the learning difficulty, we propose SDST, an integral framework with extbf{S}uccessive extbf{D}ecoding for end-to-end extbf{S}peech-to-text extbf{T}ranslation task. This method is verified in two mainstream datasets. Experiments show that our proposed \method improves the previous state-of-the-art methods by big margins.

研究动机与目标

• 为解决由于直接进行跨模态和跨语言映射而导致的端到端语音转文本翻译中学习难度高的问题。
• 降低在单一模型中联合进行语音识别和机器翻译的复杂度。
• 设计一种统一框架，通过连续解码提升翻译质量。
• 在成熟的语音转文本翻译基准上验证所提方法的有效性。

提出的方法

• 提出一种基于连续解码的端到端语音转文本翻译框架SDST。
• 将翻译任务分解为一系列顺序解码步骤，以简化跨模态和跨语言映射。
• 在统一架构中集成语音识别和机器翻译组件，并采用渐进式解码。
• 采用连续解码策略，逐步优化翻译输出，减轻模型负担。
• 使用标准自动语音识别和机器翻译目标，对模型进行端到端训练，输入为语音，输出为目标语言文本。
• 利用注意力机制和序列建模技术，保持各解码阶段之间的上下文连贯性。

实验结果

研究问题

• RQ1 连续解码能否降低端到端语音转文本翻译中的学习负担？
• RQ2 SDST在翻译性能方面与先前最先进模型相比如何？
• RQ3 所提框架在不同语音转文本翻译数据集上是否具备泛化能力？
• RQ4 将翻译过程解耦为顺序步骤对模型准确率有何影响？

主要发现

• SDST在两个主流语音转文本翻译数据集上显著优于先前最先进方法。
• 连续解码策略有效降低了直接进行跨模态、跨语言映射的复杂度。
• 由于分阶段解码过程简化了学习目标，模型表现出更优性能。
• 该框架在多个基准数据集上得到验证，证实了其有效性和泛化能力。