[论文解读] SignalTrain: Profiling Audio Compressors with Deep Neural Networks

Scott H. Hawley, Benjamin Colburn+1 more|arXiv (Cornell University)|May 28, 2019

Music and Audio Processing被引用 8

一句话总结

本文提出 SignalTrain，一种深度自编码器模型，通过从原始音频输入到输出的端到端映射学习，对动态范围压缩器进行建模，条件是控制参数。该方法成功捕捉了软件和模拟压缩器的关键功能和听觉特性，尽管残余噪声限制了其立即投入实际应用。

ABSTRACT

In this work we present a data-driven approach for predicting the behavior of (i.e., profiling) a given non-linear audio signal processing effect (henceforth "audio effect"). Our objective is to learn a mapping function that maps the unprocessed audio to the processed by the audio effect to be profiled, using time-domain samples. To that aim, we employ a deep auto-encoder model that is conditioned on both time-domain samples and the control parameters of the target audio effect. As a test-case study, we focus on the offline profiling of two dynamic range compression audio effects, one software-based and the other analog. Compressors were chosen because they are a widely used and important set of effects and because their parameterized nonlinear time-dependent nature makes them a challenging problem for a system aiming to profile "general" audio effects. Results from our experimental procedure show that the primary functional and auditory characteristics of the compressors can be captured, however there is still sufficient audible noise to merit further investigation before such methods are applied to real-world audio processing workflows.

研究动机与目标

• 开发一种数据驱动的、端到端的深度学习方法，用于对通用音频效果进行建模，而无需依赖特定领域的信号模型。
• 解决建模非线性、时变音频效果（特别是动态范围压缩器）的挑战，传统方法在此类问题上表现不佳。
• 评估单一神经网络是否能够仅通过输入-输出音频对，学习并再现真实世界压缩器的复杂参数化行为。
• 评估使用原始时域波形和控制参数作为输入，训练一个可泛化至不同压缩器设置的模型的可行性。
• 识别当前深度学习方法在音频效果建模中的局限性，特别是残余噪声和计算成本。

提出的方法

• 采用深度自编码器架构，通过瓶颈层学习输入音频的压缩表示。
• 模型同时以目标压缩器的原始时域音频样本和控制参数（例如，峰值衰减旋钮、压缩/限制开关）作为条件。
• 输入为具有可配置回溯大小的音频帧序列，以建模时间依赖性，模拟因果处理。
• 在自编码器内部使用频谱表示，以实现特征正则化并提高学习稳定性。
• 通过梯度下降进行训练，使用预测波形与目标波形之间的均方误差作为损失函数。
• 采用 1 个周期学习率策略以优化训练效率和收敛性，超参数通过验证损失进行调优。

实验结果

研究问题

• RQ1 深度神经网络能否仅从原始音频输入和控制参数中学习音频压缩器的非线性、时变行为？
• RQ2 时间上下文大小（回溯窗口）如何影响模型再现压缩器特性的能力？
• RQ3 该模型在多大程度上能够捕捉模拟和软件压缩器的感知与功能特征？
• RQ4 模型输出中的主要误差来源是什么？因果性（由于有限回溯）是否是主导因素？
• RQ5 该模型能否在不同类型的音频材料（如音乐、合成波形）和压缩器设置之间实现泛化？

主要发现

• 该模型成功捕捉了基于软件和模拟（Teletronix LA-2A）压缩器的主要功能和听觉特性。
• 尽管回溯大小在 16,384 到 221,184 个样本之间变化，验证损失仍收敛至约 1e-4，表明对上下文长度具有鲁棒性。
• 该模型在攻击瞬态幅度上表现出一致的低估，偶尔出现过度压缩，表明其在瞬态响应建模方面存在局限性。
• 非连续的压缩/限制开关并未阻碍训练，表明基于梯度的优化能够处理非光滑控制参数。
• 输出中的残余噪声仍是主要限制因素，阻碍其在专业音频工作流程中的立即部署。
• 该模型的性能并非主要受限于有限的回溯窗口，因为即使在 LA-2A 5 秒释放时间之后，损失仍保持较低水平。