[论文解读] Qwen2-Audio Technical Report

Yunfei Chu, Jin Xu+10 more|arXiv (Cornell University)|Jul 15, 2024

Music Technology and Sound Studies被引用 4

一句话总结

Qwen2-Audio 是一个大型音频-语言模型，通过在预训练、指令微调和直接偏好优化中利用自然语言提示，实现了音频理解与语音交互的最先进性能。它在无需任务特定微调的情况下，同时在语音对话和音频分析模式下表现出色，在 AIR-Bench 语音对话基准测试中优于先前的 SOTA 模型 Gemini-1.5-pro，并在 ASR、语音翻译和音频分类任务中达到最先进结果。

ABSTRACT

We introduce the latest progress of Qwen-Audio, a large-scale audio-language model called Qwen2-Audio, which is capable of accepting various audio signal inputs and performing audio analysis or direct textual responses with regard to speech instructions. In contrast to complex hierarchical tags, we have simplified the pre-training process by utilizing natural language prompts for different data and tasks, and have further expanded the data volume. We have boosted the instruction-following capability of Qwen2-Audio and implemented two distinct audio interaction modes for voice chat and audio analysis. In the voice chat mode, users can freely engage in voice interactions with Qwen2-Audio without text input. In the audio analysis mode, users could provide audio and text instructions for analysis during the interaction. Note that we do not use any system prompts to switch between voice chat and audio analysis modes. Qwen2-Audio is capable of intelligently comprehending the content within audio and following voice commands to respond appropriately. For instance, in an audio segment that simultaneously contains sounds, multi-speaker conversations, and a voice command, Qwen2-Audio can directly understand the command and provide an interpretation and response to the audio. Additionally, DPO has optimized the model's performance in terms of factuality and adherence to desired behavior. According to the evaluation results from AIR-Bench, Qwen2-Audio outperformed previous SOTAs, such as Gemini-1.5-pro, in tests focused on audio-centric instruction-following capabilities. Qwen2-Audio is open-sourced with the aim of fostering the advancement of the multi-modal language community.

研究动机与目标

• 提升大型音频-语言模型（LALMs）对多样化音频输入的指令遵循能力。
• 通过两种统一的音频交互模式——语音对话与音频分析，实现无缝、模式无关的交互。
• 通过用自然语言提示替代分层任务标签，简化预训练流程，提升训练效率与泛化能力。
• 通过直接偏好优化（DPO）提升生成响应的质量与事实一致性。
• 在无需任务特定微调的情况下，实现在多个以音频为中心的基准测试中的最先进性能。

提出的方法

• 预训练使用自然语言提示统一多样化数据与任务，替代复杂的分层标签体系。
• 音频编码器初始化自 Whisper-large-v3，将 16kHz 音频处理为 128 通道的梅尔频谱图，时间分辨率为 40ms。
• 采用两阶段训练流程：使用高质量、多样化的指令数据进行监督微调（SFT），并通过直接偏好优化（DPO）使输出与人类偏好对齐。
• 模型采用条件语言建模目标：在给定音频表征和先前文本标记的前提下，最大化下一个文本标记的概率。
• 通过步长为 2 的池化层处理音频输入，以减少序列长度，同时保持时间分辨率。
• 模型在两种功能模式下运行——语音对话与音频分析，无需显式系统提示即可切换。

Figure 1 : Performance of Qwen2-Audio, Qwen-Audio and previous top-tiers from LALMs such as SpeechT5 (Ao et al., 2021 ) , SpeechNet (Chen et al., 2021 ) , SpeechLLaMA (Wu et al., 2023a ) , SALMONN (Tang et al., 2024 ) , Whisper (Radford et al., 2023 ) Pengi (Deshmukh et al., 2023 ) , and SpeechVerse

实验结果

研究问题

• RQ1 自然语言提示是否能够替代预训练中的分层任务标签，从而简化训练流程并提升 LALMs 的泛化能力？
• RQ2 统一的音频-语言模型在无需任务特定微调的情况下，能在语音对话与音频分析中实现多高程度的性能表现？
• RQ3 直接偏好优化（DPO）在音频-语言生成中如何提升事实一致性与与人类偏好的对齐程度？
• RQ4 Qwen2-Audio 在多领域音频基准测试中的表现如何，特别是在复杂、混合音频场景下？
• RQ5 Qwen2-Audio 是否在指令遵循与音频理解任务中优于现有 SOTA 模型，如 Gemini-1.5-pro 和 Whisper-large-v3？

主要发现

• 在 LibriSpeech test-clean 上，Qwen2-Audio 的词错误率（WER）达到 1.6%，在 test-other 上为 3.6%，优于先前模型。
• 在 CoVoST2 上，Qwen2-Audio 在全部七个翻译方向上的平均 BLEU 分数最高，超越先前基线模型。
• 在 VSC 任务中，Qwen2-Audio 的准确率达到 0.9392，显著优于 Qwen-Audio（0.9289）和 Pengi（0.6035）。
• 在 AIR-Bench 语音对话基准中，Qwen2-Audio 在语音子集得分为 7.18，声音子集为 6.99，音乐子集为 6.79，混合音频子集为 6.77，均超过 Gemini-1.5-pro 及其他 SOTA 模型。
• 在 SER 任务中，Qwen2-Audio 在 Meld 数据集上达到 0.553 的准确率，优于 Qwen-Audio（0.557），并超过 WavLM-large（0.542）。
• Qwen2-Audio 在混合音频分析中表现出强鲁棒性，无需显式分割即可正确识别复杂多源音频片段中的指令与声音。

Figure 2 : The overview of three-stage training process of Qwen2-Audio.