[论文解读] Streamable Neural Audio Synthesis With Non-Causal Convolutions

Antoine Caillon, Philippe Esling|arXiv (Cornell University)|Apr 14, 2022

Music and Audio Processing被引用 4

一句话总结

本文提出一种后训练方法，通过引入内部延迟，使原本非因果的卷积神经网络在实时音频处理中具备流式处理能力，实现高质量、低延迟的音频合成，且无需重新训练。该方法可将现有模型（如RAVE）转换为实时兼容系统，不损失音质，且速度优于重叠相加法。

ABSTRACT

Deep learning models are mostly used in an offline inference fashion. However, this strongly limits the use of these models inside audio generation setups, as most creative workflows are based on real-time digital signal processing. Although approaches based on recurrent networks can be naturally adapted to this buffer-based computation, the use of convolutions still poses some serious challenges. To tackle this issue, the use of causal streaming convolutions have been proposed. However, this requires specific complexified training and can impact the resulting audio quality. In this paper, we introduce a new method allowing to produce non-causal streaming models. This allows to make any convolutional model compatible with real-time buffer-based processing. As our method is based on a post-training reconfiguration of the model, we show that it is able to transform models trained without causal constraints into a streaming model. We show how our method can be adapted to fit complex architectures with parallel branches. To evaluate our method, we apply it on the recent RAVE model, which provides high-quality real-time audio synthesis. We test our approach on multiple music and speech datasets and show that it is faster than overlap-add methods, while having no impact on the generation quality. Finally, we introduce two open-source implementation of our work as Max/MSP and PureData externals, and as a VST audio plugin. This allows to endow traditional digital audio workstation with real-time neural audio synthesis on a laptop CPU.

研究动机与目标

• 使用预先训练好的卷积神经网络模型实现实时神经音频合成，这些模型原本并非为流式处理而设计。
• 在不引入冗余计算的前提下，解决非因果卷积在基于缓冲区处理中的相位不连续问题。
• 在数字音频工作站中实现低延迟推理的同时，保持音频质量和模型精度。
• 提供实用的开源工具（Max/MSP、PureData、VST），将实时神经音频合成无缝集成到创意音频工作流中。
• 在多种音频数据集（包括音乐和语音）上展示该方法的有效性，实现极低延迟和高速性能。

提出的方法

• 通过在推理后引入内部延迟，将训练好的非因果卷积模型重新配置为因果流式版本，同时保留原始计算图。
• 利用缓存的内部状态在音频缓冲区边界维持时间连续性，以状态传播替代填充操作。
• 在推理后阶段应用该方法，无需对原始模型进行微调或架构修改。
• 通过仔细管理所有分支中的延迟传播，支持具有并行分支的复杂架构。
• 将该方法实现为库，并通过自定义外部模块集成到Max/MSP和PureData中，同时使用JUCE框架实现为VST3插件。
• 通过最近邻上采样将潜在表征映射为音频信号，并通过图形界面实现实时用户对潜在维度的控制。

实验结果

研究问题

• RQ1 非因果卷积模型是否可以在不重新训练或牺牲音质的前提下实现流式处理？
• RQ2 如何引入内部延迟，以在实现基于缓冲区的实时处理的同时保持模型精度？
• RQ3 与重叠相加法相比，该方法在降低延迟和提升推理速度方面能达到何种程度？
• RQ4 该方法是否可推广至具有并行分支的复杂架构以及多样化的音频生成任务？
• RQ5 在支持实时用户交互的实际创意音频环境（如DAW）中，该方法的有效性如何？

主要发现

• 所提出的方法在保持与原始非因果模型相同音质的前提下，推理速度优于重叠相加法。
• 该方法可在标准笔记本电脑CPU上通过开源Max/MSP和PureData外部模块实现实时音频合成。
• VST3插件实现支持对潜在表征进行实时操控，用户可自定义每维的缩放、偏置和噪声。
• 该方法成功将RAVE模型转换为流式系统，在多种音乐和语音数据集上均未造成音质下降。
• 由于精细的延迟管理，该方法与复杂架构（包括具有并行分支的架构）兼容。
• 开源库和插件可实现神经音频合成与传统数字音频工作站的无缝集成。