[论文解读] Neural Style Transfer for Audio Spectograms

Prateek Verma, Julius O. Smith|arXiv (Cornell University)|Jan 4, 2018

Music and Audio Processing参考文献 2被引用 34

一句话总结

本文提出了一种针对音频频谱图的神经风格迁移方法，通过优化噪声输入以匹配预训练卷积神经网络（CNN）的内容与风格特征，将图像风格迁移技术适配至音频领域。该方法实现了带宽压缩与扩展，以及乐器与人声之间的音色迁移，采用包含内容、风格和能量包络项的统一损失函数。

ABSTRACT

There has been fascinating work on creating artistic transformations of images by Gatys. This was revolutionary in how we can in some sense alter the 'style' of an image while generally preserving its 'content'. In our work, we present a method for creating new sounds using a similar approach, treating it as a style-transfer problem, starting from a random-noise input signal and iteratively using back-propagation to optimize the sound to conform to filter-outputs from a pre-trained neural architecture of interest. For demonstration, we investigate two different tasks, resulting in bandwidth expansion/compression, and timbral transfer from singing voice to musical instruments. A feature of our method is that a single architecture can generate these different audio-style-transfer types using the same set of parameters which otherwise require different complex hand-tuned diverse signal processing pipelines.

研究动机与目标

• 将原本为图像开发的神经风格迁移技术拓展至音频频谱图，以实现创意声音生成。
• 解决在迁移一种声音的音色与频谱特性时保持原始音频内容的挑战。
• 开发一个单一、可参数化的框架，以替代复杂且手工调校的信号处理流水线，用于音频转换任务。
• 探究深度神经网络的特征激活是否可引导从随机噪声合成感知上合理的音频。
• 探索能量包络与频谱包络约束在提升生成音频感知质量中的作用。

提出的方法

• 使用反向传播优化随机噪声输入的频谱图，以最小化由内容、风格和基于能量的损失组成的总损失函数。
• 采用修改后的6层AlexNet结构，使用3×3卷积核与2×2池化层，并在AudioSet数据集中80种乐器类别的音频上进行训练，以区分音乐音色。
• 从CNN的中间层提取内容特征，以匹配内容音频（如竖琴或人声）的激活模式。
• 通过选定卷积层的特征图的格拉姆矩阵（Gram matrix）计算风格损失，方法与Gatys等人在图像中的方法类似。
• 引入额外的损失项$L_e$与$L_t$，以匹配风格音频的时域能量包络与频域能量包络（即音色包络）。
• 利用Griffin-Lim算法从优化后的幅度谱图重建最终的频谱图，确保相位信息完全恢复。

实验结果

研究问题

• RQ1 图像处理中使用的神经风格迁移技术能否有效适配至音频频谱图，以实现声音合成？
• RQ2 单一深度神经网络架构在使用相同参数集时，能在多大程度上生成多样化的音频转换（如带宽压缩与扩展）？
• RQ3 能量包络与频谱包络约束如何影响风格迁移中生成音频的感知质量？
• RQ4 仅靠格拉姆矩阵是否足以捕捉音频风格的必要感知特征，还是需要额外的损失项？
• RQ5 是否可能仅通过预训练CNN的特征优化，从随机噪声中生成高质量、感知上合理的音频？

主要发现

• 该方法通过将音叉的风格迁移到竖琴上，成功生成了带宽压缩的声音，呈现出单一频率音调。
• 通过将小提琴的风格迁移到人声上，实现了带宽扩展，增强了高频谐波并丰富了频谱内容。
• 引入能量包络损失（$L_e$）与音色包络损失（$L_t$）显著提升了感知质量，而仅使用格拉姆矩阵则无法保留时域动态特性。
• 统一的损失函数使同一网络与优化设置能够同时实现音色迁移与频谱调控，无需依赖任务特定的信号处理流水线。
• 通过Griffin-Lim算法将重建的频谱图转换回音频后，生成结果可听且感知上连贯，证明了该方法的可行性。
• 通过仅调整内容与风格输入，该方法在无需重新训练或重新配置参数的情况下，展现出生成多样化音频转换的灵活性。