[论文解读] WavJourney: Compositional Audio Creation with Large Language Models

Xubo Liu, Zhongkai Zhu+9 more|arXiv (Cornell University)|Jul 26, 2023

Music and Audio Processing被引用 6

一句话总结

WavJourney 是一种新颖的框架，利用大型语言模型（LLMs）实现从自然语言指令出发的组合式音频生成。它生成结构化的音频脚本，将其编译为可执行程序，并协调专用的音频模型生成在时间与空间上对齐的逼真音频内容，在文本到音频的基准测试中达到最先进水平，且在音频叙事和人机协同创作方面表现出色。

ABSTRACT

Despite breakthroughs in audio generation models, their capabilities are often confined to domain-specific conditions such as speech transcriptions and audio captions. However, real-world audio creation aims to generate harmonious audio containing various elements such as speech, music, and sound effects with controllable conditions, which is challenging to address using existing audio generation systems. We present WavJourney, a novel framework that leverages Large Language Models (LLMs) to connect various audio models for audio creation. WavJourney allows users to create storytelling audio content with diverse audio elements simply from textual descriptions. Specifically, given a text instruction, WavJourney first prompts LLMs to generate an audio script that serves as a structured semantic representation of audio elements. The audio script is then converted into a computer program, where each line of the program calls a task-specific audio generation model or computational operation function. The computer program is then executed to obtain a compositional and interpretable solution for audio creation. Experimental results suggest that WavJourney is capable of synthesizing realistic audio aligned with textually-described semantic, spatial and temporal conditions, achieving state-of-the-art results on text-to-audio generation benchmarks. Additionally, we introduce a new multi-genre story benchmark. Subjective evaluations demonstrate the potential of WavJourney in crafting engaging storytelling audio content from text. We further demonstrate that WavJourney can facilitate human-machine co-creation in multi-round dialogues. To foster future research, the code and synthesized audio are available at: https://audio-agi.github.io/WavJourney_demopage/.

研究动机与目标

• 解决现有音频生成模型受限于特定领域条件（如语音转录或字幕）的局限性。
• 实现通过自然语言指令引导，生成包含多个元素（如语音、音乐和音效）的复杂且和谐的音频内容。
• 设计一种可解释且可交互的流程，通过多轮对话支持人机协同创作。
• 开发一种支持对音频元素之间语义、时间与空间关系进行精确控制的组合式音频生成框架。
• 建立一个新的多类型音频叙事基准，用于评估逼真且引人入胜的音频生成效果。

提出的方法

• 该框架首先通过提示 LLM 生成一个结构化的音频脚本，描述语音、音乐和音效及其时空关系。
• 将音频脚本编译为计算机程序，其中每一行调用特定任务的音频生成模型或计算函数。
• 使用一组专家级音频生成模型执行该程序，以受控且可解释的方式合成与组合音频元素。
• 通过多轮对话支持动态用户交互，允许用户通过自然语言修改或扩展音频内容。
• 脚本编译器将语义音频脚本转换为可执行代码，确保音频元素的正确排序与混合。
• 该框架不仅利用 LLM 进行内容生成，还用于规划与编排音频制作流程。

实验结果

研究问题

• RQ1 LLMs 是否能有效生成编码了语音、音乐和音效等多样化音频元素之间复杂时空关系的结构化音频脚本？
• RQ2 从此类脚本派生出的编译程序是否能实现对时间与空间定位具有精确控制的准确组合式音频生成？
• RQ3 与端到端的文本到音频模型相比，WavJourney 的组合式方法在音频质量、对齐程度与可解释性方面表现如何？
• RQ4 WavJourney 在音频制作中支持交互式、多轮人机协同创作的程度如何？
• RQ5 通过主观评估验证，WavJourney 是否能跨多种类型生成引人入胜且逼真的音频叙事内容？

主要发现

• WavJourney 在文本到音频生成基准测试中达到最先进性能，在所有评估维度上均优于 AudioLDM 和 AudioGen。
• 主观评估显示，WavJourney 在参与度上得分为 3.28，创造力得分为 3.18，相关性得分为 3.52，情感共鸣得分为 3.04，节奏与速度得分为 2.97，显著高于基线模型。
• WavJourney 生成了可理解的语音，正确实现了时间上的对齐（例如使用 'as' 表示同时事件，使用 'follow' 表示顺序事件），并保持了描述中的空间布局。
• 该系统在人机协同创作中表现出强健性，支持通过自然语言动态修改，如添加新音效事件或调整时长。
• 该框架生成的音频在感知上与文本描述高度一致，而 AudioGen 和 AudioLDM 通常无法生成连贯或可理解的语音。
• 本项目提供了一个新的多类型音频叙事基准，并公开发布代码与合成音频，以支持未来研究。