[论文解读] Time Domain Neural Audio Style Transfer

Parag K. Mital|arXiv (Cornell University)|Nov 29, 2017

Speech and Audio Processing参考文献 3被引用 10

一句话总结

本文提出一种时域神经音频风格迁移方法，直接优化原始音频信号，避免了相位重建。结果表明，使用3×1卷积核处理拼接的实部、虚部和幅度分量的网络，在保持高保真度的同时，相比仅使用幅度的方法，能有效降低噪声并提升时间域细节。

ABSTRACT

A recently published method for audio style transfer has shown how to extend the process of image style transfer to audio. This method synthesizes audio "content" and "style" independently using the magnitudes of a short time Fourier transform, shallow convolutional networks with randomly initialized filters, and iterative phase reconstruction with Griffin-Lim. In this work, we explore whether it is possible to directly optimize a time domain audio signal, removing the process of phase reconstruction and opening up possibilities for real-time applications and higher quality syntheses. We explore a variety of style transfer processes on neural networks that operate directly on time domain audio signals and demonstrate one such network capable of audio stylization.

研究动机与目标

• 探究直接优化时域音频信号是否能在不依赖相位重建的情况下实现高质量的音频风格迁移。
• 评估处理时域音频特征（如DFT分量、相位差分、预训练嵌入）的多种神经网络架构。
• 确定预训练的WaveNet或NSynth编码器是否能够实现有效的内容-风格解耦与风格迁移。
• 将时域风格迁移的感知质量和频谱质量与Ulyanov等人提出的经典幅度基方法进行比较。

提出的方法

• 该方法通过神经网络直接优化原始音频波形，输入特征为DFT的实部、虚部和幅度分量。
• 采用3×1卷积核对拼接的实部、虚部和幅度特征进行处理，以保留时间动态和相位信息。
• 内容损失基于全连接层前的拼接特征激活计算，风格损失基于非线性处理后的幅度分量计算。
• 该方法比较了多种输入表示形式：DFT分量、相位差分以及WaveNet解码器和NSynth编码器的预训练网络激活。
• 通过端到端的音频信号优化实现风格迁移，无需Griffin-Lim相位重建。
• 模型通过内容损失与风格损失的组合进行训练，优化目标同时兼顾感知相似性与频谱保真度。

实验结果

研究问题

• RQ1 直接优化原始时域音频信号是否能在不进行相位重建的情况下产生感知上合理的音频风格迁移？
• RQ2 哪些时域特征表示（如实部/虚部、幅度、相位差分）能实现最有效且稳定的风格迁移？
• RQ3 预训练的神经网络（如WaveNet解码器或NSynth编码器）是否能有效用于时域音频风格迁移中的内容-风格解耦？
• RQ4 时域风格迁移的感知质量与频谱保真度与Ulyanov等人提出的基于幅度的方法相比如何？

主要发现

• 采用3×1卷积核处理拼接实部、虚部和幅度分量的网络在风格迁移中表现最佳，能以高保真度同时保留内容与风格。
• 该方法产生的噪声显著少于Ulyanov的幅度基方法，可能归因于避免了相位重建误差。
• 风格化输出在时间域上表现出更快、更动态的变化，尤其在低频段，尽管采样率相同。
• 仅有两种配置产生了可识别的结果：实部/虚部/幅度网络和幅度/未缠绕相位差分设置，后者噪声更大。
• 预训练的WaveNet解码器和NSynth编码器激活未能产生有意义的风格迁移，表明其特征表示在该任务中存在局限性。