[论文解读] Speech Recognition: Keyword Spotting Through Image Recognition

Sanjay Krishna Gouda, Salil Kanetkar+2 more|arXiv (Cornell University)|Mar 10, 2018

Handwritten Text Recognition TechniquesComputer Science参考文献 13被引用 19

一句话总结

本文提出将语音识别转化为图像分类任务，通过将音频片段转换为对数功率谱图，使强大的卷积神经网络（CNN）可用于关键词检测。结果表明，虚拟对抗训练（VAT）显著提升了模型的鲁棒性，并实现了92%的验证准确率，展示了在噪声环境下仍具优异性能的新型有效正则化技术。

ABSTRACT

The problem of identifying voice commands has always been a challenge due to the presence of noise and variability in speed, pitch, etc. We will compare the efficacies of several neural network architectures for the speech recognition problem. In particular, we will build a model to determine whether a one second audio clip contains a particular word (out of a set of 10), an unknown word, or silence. The models to be implemented are a CNN recommended by the Tensorflow Speech Recognition tutorial, a low-latency CNN, and an adversarially trained CNN. The result is a demonstration of how to convert a problem in audio recognition to the better-studied domain of image classification, where the powerful techniques of convolutional neural networks are fully developed. Additionally, we demonstrate the applicability of the technique of Virtual Adversarial Training (VAT) to this problem domain, functioning as a powerful regularizer with promising potential future applications.

研究动机与目标

• 为解决在噪声和可变语音条件下进行关键词检测的挑战，通过将音频转换为类似图像的谱图，以应用成熟的CNN技术。
• 在资源受限与无限制条件下，评估并比较多种CNN架构——标准、低延迟及对抗训练——在语音识别中的表现。
• 研究虚拟对抗训练（VAT）作为音频识别中正则化方法的有效性，尤其关注其在提升模型泛化能力与抗噪鲁棒性方面的表现。
• 优化关键谱图与网络超参数（窗口大小、步长、频带数），以提升模型准确率与效率。

提出的方法

• 使用短时傅里叶变换将音频片段转换为对数功率谱图，将一维音频信号转化为适合二维CNN处理的二维图像表示。
• 训练三种CNN模型：来自TensorFlow语音识别教程的标准CNN、专为内存与计算效率优化的低延迟CNN，以及采用VAT正则化的CNN以提升鲁棒性。
• 应用虚拟对抗训练（VAT）在输入空间生成对抗性扰动，无需标签信息，从而增强泛化能力并减少过拟合。
• 通过调整谱图参数（窗口大小、步长、频带数）与网络架构组件的超参数，以最大化准确率与效率。
• 在训练数据中以不同信噪比（0至0.5）注入噪声，以评估模型在真实场景下的鲁棒性。
• 在10个关键词识别任务上评估模型性能，额外包含未知词与静音作为类别。

实验结果

研究问题

• RQ1 将音频转换为谱图是否能有效支持二维CNN在传统上由一维网络处理的语音识别任务中的应用？
• RQ2 在噪声环境下，虚拟对抗训练相较于标准正则化技术（如Dropout）在提升关键词检测准确率方面表现如何？
• RQ3 为最大化关键词检测的模型准确率，谱图参数（窗口大小、步长、频谱分辨率）的最佳配置是什么？
• RQ4 低延迟CNN架构在资源受限设备上的部署中，如何在计算效率与识别性能之间取得平衡？
• RQ5 在真实音频识别场景中，通过背景噪声进行数据增强在多大程度上提升了模型的鲁棒性？

主要发现

• 使用对数功率谱图作为输入，可有效迁移基于图像的CNN技术至语音识别任务，显著提升模型性能。
• 虚拟对抗训练（VAT）在数据20%随机采样的验证集上达到最高92%的验证准确率，优于标准正则化方法（如Dropout）。
• 增加频带数量（从10增至40）反而降低模型性能，表明更高的频谱分辨率并不总是提升识别准确率。
• 谱图生成中的窗口大小与步长均存在最优范围：过小或过大的值分别因冗余或信息丢失而降低性能。
• 模型对背景噪声表现出强鲁棒性，即使在低信噪比（低至6 dB）条件下，准确率仅下降几个百分点，表明其在真实场景中的实际可行性。
• 超参数调优被证明至关重要，网络架构或谱图参数选择不当会显著降低模型准确率。