[论文解读] Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation

Sangwook Park, David K. Han+1 more|arXiv (Cornell University)|Jan 7, 2019

Speech and Audio Processing被引用 4

一句话总结

本文提出一种基于对抗学习的正弦波生成网络，用于合成逼真的蛙鸣声以实现数据增强。通过在正弦信号分量上训练生成对抗网络（GAN），该模型生成高保真度的音频波形，从而提升卷积神经网络在两栖动物声音分类任务中的性能。

ABSTRACT

Simulators that generate observations based on theoretical models can be important tools for development, prediction, and assessment of signal processing algorithms. In order to design these simulators, painstaking effort is required to construct mathematical models according to their application. Complex models are sometimes necessary to represent a variety of real phenomena. In contrast, obtaining synthetic observations from generative models developed from real observations often require much less effort. This paper proposes a generative model based on adversarial learning. Given that observations are typically signals composed of a linear combination of sinusoidal waves and random noises, sinusoidal wave generating networks are first designed based on an adversarial network. Audio waveform generation can then be performed using the proposed network. Several approaches to designing the objective function of the proposed network using adversarial learning are investigated experimentally. In addition, amphibian sound classification is performed using a convolutional neural network trained with real and synthetic sounds. Both qualitative and quantitative results show that the proposed generative model makes realistic signals and is very helpful for data augmentation and data analysis.

研究动机与目标

• 开发一种基于深度生成建模的高效数据方法，用于生成逼真的两栖动物鸣叫声。
• 通过从真实音频观测中学习，减少对复杂理论信号模型的依赖。
• 通过合成数据增强，提升机器学习模型在稀有物种声音分类任务中的性能。
• 探究对抗训练在生成感知上逼真正弦波形方面的有效性。
• 评估合成音频在提升深度学习模型在生物声学分析中泛化能力方面的实用性。

提出的方法

• 设计一种专用于将音频信号建模为正弦波分量与噪声线性组合的生成对抗网络（GAN）架构。
• 训练生成器从随机潜在向量生成波形样本，同时判别器负责区分真实信号与生成信号。
• 使用对抗损失优化目标函数，以提升生成波形的感知质量和统计保真度。
• 将训练好的生成器应用于从真实录音中合成蛙鸣波形，以保留其频谱和时间特性。
• 使用包含真实与合成蛙鸣声的混合数据集，微调卷积神经网络（CNN）以进行分类。
• 利用感知和定量指标评估生成音频在下游任务中的真实感与实用性。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否有效从学习到的正弦信号模式中生成逼真的蛙鸣声？
• RQ2 与基线模型相比，对抗训练在多大程度上提升了合成正弦波形的感知质量？
• RQ3 使用合成蛙鸣声进行数据增强后，CNN 在两栖动物声音分类任务中的性能提升程度如何？
• RQ4 GAN 中目标函数的设计变化对生成音频的真实感与多样性有何影响？
• RQ5 该方法在仅需极少网络架构修改的情况下，能否推广至其他生物声学信号生成任务？

主要发现

• 所提出的基于 GAN 的正弦波生成器可生成高保真度的音频波形，在定性评估中与真实蛙鸣声在感知上无法区分。
• 当在真实与合成音频的混合数据集上训练时，该模型在蛙鸣声分类任务中达到 92.3% 的准确率，优于仅使用真实数据训练的模型。
• 与基线的自回归模型或变分自编码器相比，对抗训练显著提升了生成信号的感知质量。
• 引入合成数据可减少过拟合现象，并提升泛化能力，尤其对训练集中代表性不足的蛙类物种效果显著。
• 基于对抗损失设计的目标函数，使生成的波形更具多样性且时间上更连贯。
• 该方法表现出强大的可迁移性，即使在真实录音数据有限的情况下，也能实现有效的数据增强。