[论文解读] Towards audio language modeling -- an overview

Haibin Wu, Xuanjun Chen+5 more|arXiv (Cornell University)|Feb 20, 2024

Speech Recognition and Synthesis被引用 4

一句话总结

本文对神经音频编解码器及基于编解码器的音频语言模型（LMs）进行了全面、系统的综述，分析了其架构、训练方法和应用场景。对比了六种开源编解码器和十一种基于编解码器的LMs，突出其在多模态音频生成、语音合成和零样本迁移中对离散标记化的应用，关键见解涵盖模型设计、比特率效率以及在语音、音乐和通用音频任务中的性能表现。

ABSTRACT

Neural audio codecs are initially introduced to compress audio data into compact codes to reduce transmission latency. Researchers recently discovered the potential of codecs as suitable tokenizers for converting continuous audio into discrete codes, which can be employed to develop audio language models (LMs). Numerous high-performance neural audio codecs and codec-based LMs have been developed. The paper aims to provide a thorough and systematic overview of the neural audio codec models and codec-based LMs.

研究动机与目标

• 为快速发展的音频表征学习领域中缺乏对神经音频编解码器与基于编解码器的语言模型进行系统性对比的现状提供解决方案。
• 分析六种代表性开源神经编解码器模型的训练方法、实现设置和所用数据。
• 研究十一种多样化的基于编解码器的语言模型如何利用离散音频标记化实现多模态任务，如文本到语音、语音到语音翻译和音乐生成。
• 为未来通用音频语言模型及高效、高保真神经编解码器的发展提供可操作的见解和研究方向。

提出的方法

• 对六种开源神经编解码器模型（SoundStream、SoundStorm、Encodec、AudioDec、AcademiCodec和SpeechTokenizer）进行深入的对比分析，重点关注其架构、训练目标和数据。
• 通过分析每种基于编解码器的语言模型如何处理离散标记化以执行下游任务，评估这些编解码器在语言模型中的集成效果。
• 根据输入模态（文本、音频、音素、MIDI）、输出类型以及支持的任务（如TTS、ASR、S2ST、音乐生成和音频编辑）对基于编解码器的语言模型进行分类与对比。
• 采用结构化框架对比模型组件，包括残差向量量化（RVQ）的使用、自回归与非自回归解码方式，以及Transformer或LSTM模块在序列建模中的集成。
• 研究预训练语音表征（如Hubert、wav2vec 2.0）和离散单元在实现无文本语音语言建模与零样本迁移中的作用。
• 回顾在语音LM中使用提示技术（如上下文学习、指令微调）以扩展其能力，使其不仅限于生成任务，还可用于语音翻译和编辑等任务。

Figure 1: Timeline of current neural codec models and codec-based language models.

实验结果

研究问题

• RQ1 不同神经编解码器架构在语音和音频重建任务中的设计、训练目标和性能表现有何差异？
• RQ2 面向高保真音频优化的编解码器与面向低比特率、高效率应用设计的编解码器在架构和训练方面有何关键区别？
• RQ3 基于编解码器的语言模型如何利用离散音频标记化来执行多样化的多模态任务，如文本到语音、音乐生成和语音翻译？
• RQ4 在构建语音语言模型时，使用预训练语音表征（如Hubert）与端到端学习的离散单元之间存在哪些权衡？
• RQ5 在将基于编解码器的语言模型能力从生成任务扩展到语音编辑和翻译等任务时，最有效的提示和微调策略是什么？

主要发现

• AcademiCodec通过使用分组残差向量量化（group-residual vector quantization），实现了每秒1.5比特率（BPS）的极低比特率，显著缩短了音频语言建模的序列长度。
• Encodec通过集成LSTM和Transformer模块，提升了对离散音频标记中长距离依赖关系的捕捉能力，从而改善了序列建模性能。
• SoundStorm通过基于置信度的策略实现非自回归、并行解码，显著降低了延迟，同时实现了高质量的音频生成。
• 基于编解码器的语言模型如VALL-E、MusicGen和AudioPaLM，利用EnCodec和SoundStream的离散标记，在TTS、S2ST和ASR等任务中展现出强大的零样本泛化能力。
• 如UniAudio和LauraGPT等模型，通过基于文本、梅尔频谱图和MIDI等多样化输入进行条件控制，支持广泛的任务，包括语音增强、语音转换和文本到音乐生成。
• 将自监督模型（如Hubert、wav2vec 2.0）生成的离散单元集成，可实现无文本语音语言建模，如TWIST和pGSLM模型在语音续写和下一个标记预测任务中表现优异。

Figure 2: Codec-based Language Modeling