[论文解读] Speech Translation with Large Language Models: An Industrial Practice

Zhichao Huang, Rong Ye+5 more|arXiv (Cornell University)|Dec 21, 2023

Speech Recognition and Synthesis被引用 4

一句话总结

该论文提出 LLM-ST，一种端到端的语音翻译系统，将大型语言模型（LLM）与基于 Whisper 的语音编码器相结合，从长音频输入中生成准确且带时间戳的转录和翻译结果。通过利用多任务指令微调——包括思维链（Chain-of-Thought）提示——LLM-ST 在英语↔中文语音翻译任务中表现优于开源模型和商业级级联系统，尤其在处理语调、语码转换和专业术语方面表现突出。

ABSTRACT

Given the great success of large language models (LLMs) across various tasks, in this paper, we introduce LLM-ST, a novel and effective speech translation model constructed upon a pre-trained LLM. By integrating the large language model (LLM) with a speech encoder and employing multi-task instruction tuning, LLM-ST can produce accurate timestamped transcriptions and translations, even from long audio inputs. Furthermore, our findings indicate that the implementation of Chain-of-Thought (CoT) prompting can yield advantages in the context of LLM-ST. Through rigorous experimentation on English and Chinese datasets, we showcase the exceptional performance of LLM-ST, establishing a new benchmark in the field of speech translation. Demo: https://speechtranslation.github.io/llm-st/.

研究动机与目标

• 开发一种统一的端到端语音翻译系统，以替代复杂的级联流水线。
• 通过整合语音表征与预训练 LLM 的上下文理解能力，提升长音频输入的翻译质量。
• 评估思维链提示与多任务指令微调在提升翻译鲁棒性方面的有效性。
• 展示完全端到端语音翻译系统在工业部署中的可行性，超越商业级级联系统。
• 探索发音翻译与翻译解释任务在提升语码转换和命名实体翻译中的作用。

提出的方法

• LLM-ST 使用 Whisper-Large-v2 编码器从 16kHz 音频中提取连续的语音表征，无需离散化处理。
• 将音频表征作为条件，输入至一个 130 亿参数的仅解码器 LLM（类似于 GPT-3），根据自然语言指令生成文本输出。
• 多任务指令微调包括自动语音识别（ASR）、机器翻译、音 transliteration、句子分割、逆写规范化（ITN）以及时间戳预测，所有任务联合训练。
• 在指令微调过程中应用思维链（CoT）提示，以提升推理能力与输出透明度。
• 模型在大规模英汉语音与文本数据集上进行微调，包括 1.3 亿组翻译对及大量原始文本。
• 通过移除 Whisper 的 30 秒输入长度限制，该框架支持任意长度的音频输入。

实验结果

研究问题

• RQ1 统一的端到端模型是否能在语音翻译任务中超越级联系统，实现更优性能？
• RQ2 结合思维链提示的多任务指令微调在多大程度上提升了翻译质量与鲁棒性？
• RQ3 预训练 LLM 搭配连续语音表征，在处理语调、语码转换与领域特定术语方面的能力如何？
• RQ4 在指令微调中引入发音翻译（如 IPA/pinyin）是否能显著提升语码转换语音翻译的表现？
• RQ5 端到端模型是否能提供可解释的中间输出，其可解释性可与级联系统相媲美？

主要发现

• LLM-ST 在英汉语音翻译任务中达到最先进性能，无论在自动评估还是人工评估中，均优于开源模型与商业级联系统。
• 人工评估确认 LLM-ST 在处理语音语调、上下文相关翻译与语码转换方面优于商业级联系统。
• 模型能正确翻译专业术语（如品牌名：Vetements、Balenciaga），而商业 ASR 模型因语音混淆而失败。
• 在多任务微调中引入发音翻译（IPA/pinyin）显著提升了语码转换翻译的表现。
• 思维链提示增强了推理能力与输出可解释性，表明端到端模型可提供对中间推理步骤的可见性。
• 模型在无输入长度限制的长音频输入上仍保持高性能，支持生成准确的时间戳输出。