[论文解读] Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks

Marco Comunità, Huy Phan+1 more|arXiv (Cornell University)|Oct 18, 2021

Music and Audio Processing参考文献 34被引用 6

一句话总结

本论文首次将生成对抗网络（GAN）应用于脚步声效的神经合成，采用混合WaveGAN生成器与HiFi-GAN判别器的架构。该方法在主观听音测试中实现了与真实录音相当的逼真度评分，优于传统的程序化与谱建模方法。

ABSTRACT

Footsteps are among the most ubiquitous sound effects in multimedia applications. There is substantial research into understanding the acoustic features and developing synthesis models for footstep sound effects. In this paper, we present a first attempt at adopting neural synthesis for this task. We implemented two GAN-based architectures and compared the results with real recordings as well as six traditional sound synthesis methods. Our architectures reached realism scores as high as recorded samples, showing encouraging results for the task at hand.

研究动机与目标

• 探索使用深度生成模型（特别是GAN）进行脚步声效的神经合成，作为传统程序化或采样音频方法的替代方案。
• 评估基于GAN的模型是否能够生成与真实世界录音在感知上难以区分的脚步声效。
• 在受控听音测试中，将神经合成模型的性能与六种成熟的传统合成方法进行比较。
• 研究GAN架构选择（如上采样方法与判别器设计）对音频质量与数据分布逼近的改进作用。
• 评估音频质量与感知逼真度在声效合成中的相对作用，尤其关注人类感知的影响。

提出的方法

• 从Zapsplat平台收集并整理了81个高质量脚步声录音（16kHz，-6dBFS），涵盖高跟鞋在七种表面（地毯、甲板、金属、路面、地毯、木头、木内部）上的表现。
• 生成器采用条件WaveGAN架构，包含5层转置1D卷积层、批量归一化及潜在噪声输入，通过零填充或插值方式上采样至8192个样本（约0.5秒）。
• 混合判别器结合了条件WaveGAN判别器与HiFi-GAN的多分辨率架构，提升了逼真度与数据分布匹配能力。
• 训练了两种架构：标准条件WaveGAN与混合WaveGAN-HiFi-GAN模型，均以表面类型与鞋类类型作为条件输入。
• 通过客观指标（如FID）与19名经验丰富的音频专业人士参与的主观听音测试对模型进行评估。
• 音频样本以8192个样本（0.5秒）合成，通过以一致步速拼接多个样本，生成10秒的行走声效以模拟连续运动。

实验结果

研究问题

• RQ1 基于GAN的神经合成能否产生与真实录音在感知上难以区分的脚步声效？
• RQ2 与标准WaveGAN及传统程序化合成方法相比，混合WaveGAN-HiFi-GAN架构在音频质量与逼真度方面表现如何？
• RQ3 音频质量在多大程度上与脚步声效的感知逼真度相关？
• RQ4 哪些架构选择（如上采样方法或判别器设计）对合成脚步声的逼真度影响最大？
• RQ5 神经合成模型能否在保持实时合成潜力的同时，实现最先进的逼真度表现，适用于视频游戏等应用？

主要发现

• 混合WaveGAN-HiFi-GAN模型在主观听音测试中获得的逼真度评分与真实录音无统计学差异，优于所有传统合成方法。
• WaveGAN与HiFi-WaveGAN模型的平均逼真度评分均与真实录音相当，表明其具备出色的感知保真度。
• WaveGAN模型表现出明显的背景噪声与失真，而HiFi-WaveGAN模型输出更清晰、更自然，表明音频质量得到显著提升。
• 零填充在上采样中表现优于最近邻、线性与三次插值，与GAN文献中的常见假设相反。
• 传统方法如Farnell的程序化模型与统计建模方法评分显著偏低，凸显非神经方法在处理复杂、宽带脉冲声方面的局限性。
• 结果表明，音频质量本身并不能完全决定感知逼真度，其他感知因素（如频谱包络与瞬态特性）在人类判断中起着关键作用。