[论文解读] Very Deep Convolutional Neural Networks for Raw Waveforms

Wei Dai, Chia Dai+3 more|arXiv (Cornell University)|Oct 1, 2016

Music and Audio Processing参考文献 14被引用 7

一句话总结

本文提出一种非常深的全卷积神经网络（最多34层），直接处理原始音频波形，无需手工设计的特征。通过在第一层使用大感受野、深层使用小感受野、批量归一化以及残差连接，该模型在环境声音识别任务上达到71.8%的准确率，较两层模型高出15%以上，并与使用对数梅尔倒谱图的模型性能相当。

ABSTRACT

Learning acoustic models directly from the raw waveform data with minimal processing is challenging. Current waveform-based models have generally used very few (~2) convolutional layers, which might be insufficient for building high-level discriminative features. In this work, we propose very deep convolutional neural networks (CNNs) that directly use time-domain waveforms as inputs. Our CNNs, with up to 34 weight layers, are efficient to optimize over very long sequences (e.g., vector of size 32000), necessary for processing acoustic waveforms. This is achieved through batch normalization, residual learning, and a careful design of down-sampling in the initial layers. Our networks are fully convolutional, without the use of fully connected layers and dropout, to maximize representation learning. We use a large receptive field in the first convolutional layer to mimic bandpass filters, but very small receptive fields subsequently to control the model capacity. We demonstrate the performance gains with the deeper models. Our evaluation shows that the CNN with 18 weight layers outperform the CNN with 3 weight layers by over 15% in absolute accuracy for an environmental sound recognition task and matches the performance of models using log-mel features.

研究动机与目标

• 开发非常深的卷积神经网络，直接处理原始音频波形，消除对对数梅尔倒谱图等手工特征的依赖。
• 解决在长原始音频序列（如32,000个样本）上应用极深网络时的训练困难问题。
• 探究具有最小归纳偏置的深层结构是否能直接从时域信号中学习有效的声学表征。
• 比较无全连接层的全卷积网络与包含全连接层的标准架构在性能上的差异。
• 分析第一卷积层感受野大小对表征学习和模型性能的影响。

提出的方法

• 设计最多34个权重层的全卷积网络，避免使用全连接层和Dropout，以最大化表征学习能力。
• 在第一卷积层使用大感受野（80）以模拟带通滤波，同时在深层使用小感受野（3）以控制模型容量。
• 应用批量归一化和残差学习模块，以稳定训练并实现极深网络的优化。
• 通过步长大尺寸为(4x1)的最大池化实现多尺度下采样，减少序列长度的同时保持时间分辨率。
• 使用交叉熵损失在原始波形上端到端训练模型，无需任何预处理或特征工程。
• 在最终Softmax层之前使用全局平均池化，以支持对可变长度音频输入进行推理。

实验结果

研究问题

• RQ1 能否在不进行中间特征工程的情况下，有效训练非常深的全卷积网络来处理原始音频波形？
• RQ2 第一卷积层的感受野大小如何影响表征学习和下游性能？
• RQ3 移除全连接层和Dropout是否能提升基于波形的声学模型的泛化能力？
• RQ4 批量归一化和残差连接对在长音频序列上训练深层网络有何影响？
• RQ5 基于原始波形的模型能否在环境声音识别任务上达到与基于对数梅尔倒谱图的模型相当的性能？

主要发现

• 18层全卷积网络在环境声音识别任务上达到71.8%的测试准确率，比3层模型高出15.56个百分点的绝对准确率。
• 使用原始波形的模型与使用对数梅尔倒谱图特征的模型性能相当，证明了原始特征与工程特征之间具有性能对等性。
• M34-res模型（34层）在训练集上达到99.21%的准确率，但测试集准确率仅为63.47%，表明由于数据集规模有限，存在严重过拟合。
• 移除批量归一化会导致深层模型训练失败（例如，M34-no-bn的训练准确率仅达10.96%），凸显其在优化过程中的关键作用。
• 第一层感受野较小的模型（RF=8）相比RF=80的模型性能下降最高达6.6%，表明大初始感受野对捕捉频谱特性至关重要。
• 全连接层增加了模型参数量和训练时间，但未提升测试准确率，甚至在某些情况下降低了泛化性能。