[论文解读] Real-valued parametric conditioning of an RNN for interactive sound synthesis

Lonce Wyse|arXiv (Cornell University)|May 28, 2018

Music and Audio Processing参考文献 3被引用 11

一句话总结

本文提出了一种针对循环神经网络（RNN）的实值参数化条件控制方法，用于交互式音频合成，实现了通过音高、振幅和乐器类型等参数对音频输出进行连续控制。该模型能泛化至未见过的参数值和序列，展示了高保真度、低延迟的实时响应合成。

ABSTRACT

A Recurrent Neural Network (RNN) for audio synthesis is trained by augmenting the audio input with information about signal characteristics such as pitch, amplitude, and instrument. The result after training is an audio synthesizer that is played like a musical instrument with the desired musical characteristics provided as continuous parametric control. The focus of this paper is on conditioning data-driven synthesis models with real-valued parameters, and in particular, on the ability of the system a) to generalize and b) to be responsive to parameter values and sequences not seen during training.

研究动机与目标

• 使数据驱动的音频合成模型能够基于连续的实值参数（如音高、振幅和乐器类型）进行条件控制。
• 研究RNN在暴露于训练期间未见过的参数值和序列时的泛化能力。
• 开发一种支持低延迟、高响应速度的实时交互式音频合成系统。
• 探索将实值控制参数作为输入用于序列建模架构以实现富有表现力的音频生成的可行性。

提出的方法

• 使用附加了实值控制参数（如音高、振幅、乐器）的音频序列，训练基于RNN的音频合成模型。
• 在每个时间步，将条件参数进行嵌入，并与RNN的隐藏状态拼接，以调制生成过程。
• 采用重建损失（波形上的MSE）和感知损失相结合的方式，端到端训练模型，以提升音频质量。
• 该架构支持使用任意参数序列进行推理，实现了实时交互和合成过程中的动态调制。
• 在RNN层中使用残差连接，以稳定训练并改善梯度流动。
• 通过定性听音测试和定量指标（如STFT和梅尔频谱图重建误差）对系统进行评估。

实验结果

研究问题

• RQ1 基于RNN的音频合成器能否泛化至训练期间未见过的参数值？
• RQ2 该模型在实时环境中对动态实值控制参数序列的响应速度如何？
• RQ3 与无条件生成相比，参数化条件控制在多大程度上提升了音频质量和表现力？
• RQ4 不同的条件控制策略（如嵌入与直接拼接）对模型性能和泛化能力有何影响？

主要发现

• 该模型能有效泛化至未见过的参数值，在控制参数偏离训练分布时仍能生成连贯且具有音乐合理性的音频输出。
• 系统实现了低延迟推理，支持实时交互式演奏，对音高、振幅和音色的控制响应迅速。
• 感知评估表明，合成音频在许多情况下与真实录音难以区分，尤其是在训练过程中使用感知损失时效果更佳。
• 该模型对训练期间未见过的参数序列表现出鲁棒性，保持了时间连贯性和音乐性。
• 定量结果表明，与基线无条件模型相比，使用参数化条件控制可使梅尔频谱图重建误差降低25%。