[论文解读] Neural Waveshaping Synthesis

Ben J. Hayes, Charalampos Saitis+1 more|arXiv (Cornell University)|Jul 11, 2021

Music and Audio Processing被引用 10

一句话总结

本文提出神经波形成单元（NEWT），一种轻量级、完全因果的神经音频合成模型，通过带有周期性激活函数的时间分布式多层感知机，学习连续、可微的波形成函数。该模型仅使用260k个参数，即可在消费级CPU上实现实时性能（RTF < 1），在速度上超越当前最先进模型，同时在听音测试和Fréchet音频距离（FAD）指标中保持了具有竞争力的音质。

ABSTRACT

We present the Neural Waveshaping Unit (NEWT): a novel, lightweight, fully causal approach to neural audio synthesis which operates directly in the waveform domain, with an accompanying optimisation (FastNEWT) for efficient CPU inference. The NEWT uses time-distributed multilayer perceptrons with periodic activations to implicitly learn nonlinear transfer functions that encode the characteristics of a target timbre. Once trained, a NEWT can produce complex timbral evolutions by simple affine transformations of its input and output signals. We paired the NEWT with a differentiable noise synthesiser and reverb and found it capable of generating realistic musical instrument performances with only 260k total model parameters, conditioned on F0 and loudness features. We compared our method to state-of-the-art benchmarks with a multi-stimulus listening test and the Fréchet Audio Distance and found it performed competitively across the tested timbral domains. Our method significantly outperformed the benchmarks in terms of generation speed, and achieved real-time performance on a consumer CPU, both with and without FastNEWT, suggesting it is a viable basis for future creative sound design tools.

研究动机与目标

• 为解决现有神经音频合成模型在DAW工作流中缺乏实时性与轻量化的问题。
• 实现在波形域中通过神经波形成实现高效、因果且可解释的音频合成。
• 相比DDSP和HTP等现有最先进方法，减小模型规模并降低推理延迟。
• 通过学习到的波形成函数的仿射变换，实现动态音色演变。
• 通过CPU高效推理，实现与实时音乐制作环境的无缝集成。

提出的方法

• NEWT使用带有周期性激活函数的时间分布式多层感知机，隐式学习非线性波形成转移函数以实现音色合成。
• 该模型将学习到的波形成器应用于谐波激励信号，控制信号（基频F0与响度）通过仿射变换调节输入和输出的缩放与偏移。
• 集成可微分的噪声合成器与混响模块，以增强生成音频的真实感。
• 提出FastNEWT作为基于剪枝与量化优化的高效CPU推理方案，相比最佳基准模型将推理时间降低2.9倍。
• 模型通过波形重建损失与感知损失的组合进行训练，所有组件均支持端到端可微性。
• 通过多刺激听音测试与Fréchet音频距离（FAD）对模型进行评估，使用实时因子（RTF）衡量推理效率。

实验结果

研究问题

• RQ1 轻量级、完全因果的神经架构能否有效学习用于逼真音乐音色合成的波形成函数？
• RQ2 在参数量极小（260k）的情况下，该模型在音质上与更大规模的最先进模型相比表现如何？
• RQ3 该模型能否在不牺牲音质的前提下，实现在消费级CPU上的实时性能？
• RQ4 学习到的波形成函数如何促进音色演变与音质提升？
• RQ5 通过控制信号，该模型能否实现音色迁移与多乐器合成的泛化能力？

主要发现

• NEWT模型在消费级CPU（Intel i5 1038NG7）上实现了实时性能，4秒输入的平均RTF为0.96，优于所有基准模型。
• FastNEWT相比最佳基准模型在CPU上将平均RTF降低了2.9倍，显著提升了推理效率。
• 在多刺激听音测试中，该模型与最先进方法表现相当，尤其在小号与长笛音色上表现优异。
• Fréchet音频距离（FAD）得分显示，该模型在小提琴音色上与同等规模的DDSP基准相当，在其他音色上则表现更优。
• 与最先进模型相比，该模型实现了20倍的参数量减少，同时保持了高音质与实时性能。
• 可视化结果证实，NEWT确实对激励信号执行了实际波形成操作，学习到的波形成函数与仿射参数动态调节音色。