[论文解读] Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms

Shuhui Qu, Juncheng Li+2 more|arXiv (Cornell University)|Nov 29, 2016

Music and Audio Processing参考文献 5被引用 10

一句话总结

本文提出一种数据驱动方法，采用一维卷积神经网络（CNN）直接从原始波形中提取有意义的音频模式，无需进行频谱变换。该方法在第一卷积层中学习到类似小波的带通滤波器，实现了高效的声学识别与信号重建，且损失极小，表明深度CNN能够自主学习音频在时域中的信息表征。

ABSTRACT

One key step in audio signal processing is to transform the raw signal into representations that are efficient for encoding the original information. Traditionally, people transform the audio into spectral representations, as a function of frequency, amplitude and phase transformation. In this work, we take a purely data-driven approach to understand the temporal dynamics of audio at the raw signal level. We maximize the information extracted from the raw signal through a deep convolutional neural network (CNN) model. Our CNN model is trained on the urbansound8k dataset. We discover that salient audio patterns embedded in the raw waveforms can be efficiently extracted through a combination of nonlinear filters learned by the CNN model.

研究动机与目标

• 探究深度卷积神经网络（CNN）是否能够直接从原始波形中学习有意义的音频模式，而无需进行频谱特征工程。
• 比较学习到的CNN滤波器与传统小波变换在捕捉音频信号时频特性方面的行为差异。
• 评估在端到端声学识别任务中，使用原始波形输入在UrbanSound8K数据集上的有效性。
• 从第一CNN层的激活值中重建原始音频信号，评估所学表征的保真度与信息保留程度。

提出的方法

• 在UrbanSound8K数据集的原始波形上端到端训练一维CNN，用于环境声音分类。
• 通过反向传播学习第一卷积层的非线性滤波器，并利用傅里叶变换分析其频率响应与中心频率。
• 使用小波变换与连续小波变换（CWT）作为对比基线，评估学习滤波器与传统小波基函数之间的相似性。
• 通过使用学习到的权重与偏置对第一卷积层进行反向操作，实现信号重建，并通过归一化与对齐处理，比较重建信号与原始信号。
• 在不同窗口大小、滤波器数量与采样率下评估模型性能，以分析其对识别准确率的影响。
• 滤波器分析包括计算学习滤波器的功率谱，并绘制其中心频率，以评估其分布特性与滤波器特征。

实验结果

研究问题

• RQ1 在原始波形上训练的CNN第一卷积层所学习到的滤波器是否表现出与小波相似的带通滤波特性？
• RQ2 在声学识别任务中，与使用传统频谱特征（如MFCC）的模型相比，基于原始波形训练的CNN性能如何？
• RQ3 是否可以利用第一卷积层的输出重建原始音频信号，且失真极小？
• RQ4 所学习滤波器的中心频率与带宽分布如何？其与听觉感知或小波理论有何关联？
• RQ5 超参数（如窗口大小、滤波器数量与采样率）如何影响模型在原始波形上的识别准确率？

主要发现

• CNN第一卷积层所学习到的滤波器表现出清晰的带通特性，中心频率主要集中在2.5 kHz以下，其分布近似于指数函数，与小波尺度相似。
• 使用更小的窗口大小（72样本，9ms）而非160样本（20ms）使分类准确率提升了3%，表明更高的时间分辨率有利于原始波形建模。
• 将滤波器数量增加至64并未提升性能，反而导致收敛速度变慢，表明滤波器数量超过某一临界值后收益递减。
• 在22.5 kHz采样率下，模型准确率达到78.34%，显著优于使用MFCC特征时的69.03%，凸显高采样率原始波形输入的优势。
• 从第一卷积层输出成功重建了原始音频的总体时间包络与关键模式，且损失极小，证实该层能够有效保留关键信号特征。
• 经归一化后的学习滤波器的逆响应生成了类似非对称正弦衰减的基函数，呈现出类似小波的结构，进一步支持CNN滤波器与小波之间的类比关系。