[论文解读] Speech and Speaker Recognition from Raw Waveform with SincNet

Mirco Ravanelli, Yoshua Bengio|arXiv (Cornell University)|Dec 13, 2018

Speech Recognition and Synthesis参考文献 29被引用 28

一句话总结

该论文提出SincNet，一种新型卷积神经网络，通过使用可学习的低通和高通截止频率的sinc函数参数化第一层滤波器，直接处理原始音频波形。通过强制实现物理可解释性并减少参数数量，SincNet在语音识别和说话人识别任务中，尤其是在噪声环境中，相比标准CNN实现了更快的收敛速度、更高的性能和更高的计算效率。

ABSTRACT

Deep neural networks can learn complex and abstract representations, that are progressively obtained by combining simpler ones. A recent trend in speech and speaker recognition consists in discovering these representations starting from raw audio samples directly. Differently from standard hand-crafted features such as MFCCs or FBANK, the raw waveform can potentially help neural networks discover better and more customized representations. The high-dimensional raw inputs, however, can make training significantly more challenging. This paper summarizes our recent efforts to develop a neural architecture that efficiently processes speech from audio waveforms. In particular, we propose SincNet, a novel Convolutional Neural Network (CNN) that encourages the first layer to discover meaningful filters by exploiting parametrized sinc functions. In contrast to standard CNNs, which learn all the elements of each filter, only low and high cutoff frequencies of band-pass filters are directly learned from data. This inductive bias offers a very compact way to derive a customized front-end, that only depends on some parameters with a clear physical meaning. Our experiments, conducted on both speaker and speech recognition, show that the proposed architecture converges faster, performs better, and is more computationally efficient than standard CNNs.

研究动机与目标

• 开发一种可直接处理原始音频波形的神经网络架构，无需手工设计的特征（如MFCC或FBANK）。
• 通过滤波器参数化引入归纳偏置，以应对深度网络训练中高维原始输入的挑战。
• 通过将第一层滤波器约束为基于sinc函数的带通响应，提升滤波器的可解释性与训练效率。
• 在标准和噪声条件下，对所提出的架构在语音识别和说话人识别任务上进行评估。
• 证明SincNet在收敛速度、准确率和计算效率方面优于标准CNN。

提出的方法

• SincNet用参数化sinc函数替代标准可学习FIR滤波器，这些函数通过仅两个可学习参数（低截止频率和高截止频率）实现带通滤波。
• 滤波器响应定义为 $ g[n,f_1,f_2] = 2f_2 \text{sinc}(2\pi f_2 n) - 2f_1 \text{sinc}(2\pi f_1 n) $，确保滤波器形状具有物理意义且可解释。
• 第一卷积层将这些参数化滤波器应用于原始波形，减少可训练参数数量并提升优化稳定性。
• 网络通过标准反向传播在原始波形上端到端训练，性能在TIMIT和DIRHA数据集上进行评估。
• 分析滤波器响应，以评估网络如何适应任务特定特征（如噪声或频谱失真）。
• 将该方法与使用原始波形和FBANK特征的标准CNN进行比较，评估指标包括WER、PER和EER。

实验结果

研究问题

• RQ1 直接处理原始波形的CNN是否能优于使用手工特征（如MFCC或FBANK）的模型？
• RQ2 将第一层滤波器约束为参数化sinc函数是否能提升训练收敛速度和模型效率？
• RQ3 SincNet在噪声和混响等挑战性条件（如DIRHA数据集）下的泛化能力如何？
• RQ4 SincNet中学习到的滤波器在多大程度上反映了任务特定的信号特征（如避开受损频带）？
• RQ5 基于sinc的归纳偏置是否足以在使用原始输入时超越标准CNN？

主要发现

• 在TIMIT数据集上，SincNet实现了17.2%的音素错误率（PER），优于在原始波形上训练的CNN（18.1%）和FBANK特征模型（18.3%）。
• 在噪声DIRHA数据集上，SincNet实现了37.2%的词错误率（WER），显著优于CNN-Raw和CNN-FBANK模型的40.1% WER。
• SincNet收敛速度优于标准CNN，在仅训练一小时后即学会避开2.0–2.5 kHz的受损频带，而标准CNN需要更长时间。
• 在Librispeech数据集的说话人验证任务中，SincNet实现了小于1%的等错误率（EER），相比标准CNN有11%的相对提升。
• SincNet中学习到的滤波器更具可解释性，并能适应任务特定特征（如避开噪声频带），同时保持比标准CNN更广泛的频谱覆盖。
• SincNet在噪声条件下的相对性能提升（6%）高于清洁条件（4%），表明其对信号退化具有更强鲁棒性。