[论文解读] Randomized Overdrive Neural Networks

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Oct 8, 2020

Neural Networks and Applications参考文献 13被引用 4

一句话总结

本文提出随机驱动神经网络（RONN），一种新颖的方法，通过在时域中使用随机初始化的时序卷积网络（TCN）生成富有创意的音频失真效果。无需训练，网络的架构参数（如深度、卷积核大小、激活函数和权重初始化方式）可直接塑造多样的音色特征——从细微的过载到类似混响的极端时间域模糊效果——实现通过VST/AU插件对网络架构进行完全控制的实时、交互式音色设计。

ABSTRACT

By processing audio signals in the time-domain with randomly weighted temporal convolutional networks (TCNs), we uncover a wide range of novel, yet controllable overdrive effects. We discover that architectural aspects, such as the depth of the network, the kernel size, the number of channels, the activation function, as well as the weight initialization, all have a clear impact on the sonic character of the resultant effect, without the need for training. In practice, these effects range from conventional overdrive and distortion, to more extreme effects, as the receptive field grows, similar to a fusion of distortion, equalization, delay, and reverb. To enable use by musicians and producers, we provide a real-time plugin implementation. This allows users to dynamically design networks, listening to the results in real-time. We provide a demonstration and code at https://csteinmetz1.github.io/ronn.

研究动机与目标

• 探索未经训练、随机初始化的神经网络在音频信号处理中的创意潜力。
• 开发一种实时、交互式的音频插件，使用户可通过调整神经网络架构来设计并试听新颖的失真效果。
• 证明TCN中的架构选择（如深度、卷积核大小和激活函数）可直接影响音色特征，而无需模型训练。
• 使无机器学习专业知识的音乐人和制作人也能通过直观、动态的网络参数化方式，访问复杂且可控的音频效果。
• 探究全卷积、随机初始化的网络是否能生成引人注目且在音乐上实用的效果，与传统失真和空间处理效果相媲美。

提出的方法

• 该方法采用前馈、全卷积的时序卷积网络（TCN），结合因果卷积和空洞卷积，实现在无训练情况下的大范围、指数增长的感受野。
• 网络通过随机初始化的权重构建，不进行反向传播或学习，完全依赖架构超参数来塑造音频输出。
• 实现采用PyTorch的C++ API，将参数化神经网络模块嵌入基于JUCE的VST/AU插件中，实现实时音频处理。
• 使用回溯缓冲区以维持分块处理中的信号连续性，确保帧边界处无感知的不连续性。
• 通过深度可分离卷积提升计算效率，即使在感受野达4秒的情况下也能实现实时性能。
• 通过支持多输出通道生成立体声输出，实现输入为单声道或立体声时的跨通道交互与空间化效果。

实验结果

研究问题

• RQ1 未经训练、随机初始化的神经网络是否能在时域中生成音乐上有用且可控制的失真效果？
• RQ2 架构组件（如网络深度、卷积核大小、激活函数和权重初始化方式）如何影响生成音频效果的音色特征？
• RQ3 全卷积、未经训练的TCN在多大程度上能模拟或超越传统失真、延迟和混响类效果？
• RQ4 能否设计一种实时、交互式的插件界面，使非专业人士能够探索神经网络架构空间以创建音频效果？
• RQ5 感受野大小和空洞卷积对处理后音频的时域与频域特性有何影响？

主要发现

• 深度、卷积核大小和激活函数等架构参数可直接且可控地塑造输出的音色特征，产生从传统过载到类似混响的极端时间域模糊效果。
• Sigmoid激活函数产生尖锐、粗糙的失真，而ReLU激活函数则生成类似 fuzz 的效果，表明非线性形状对音色有显著影响。
• 权重初始化方式会影响失真的音质，表明仅靠随机初始化本身即可引入可感知的音色差异。
• 采用深度可分离卷积使在标准CPU上实时处理感受野达4秒的网络成为可能，使复杂效果在通用硬件上也可行。
• 通过多输出通道实现立体声输出，支持跨通道交互，使单声道输入也能生成具有空间感和沉浸感的音频效果。
• 全局种子控制实现了效果的可重现性与预设保存功能，显著提升了音乐人和制作人的使用体验。