[论文解读] Small-footprint Keyword Spotting with Graph Convolutional Network

Xi Chen, Shouyi Yin+4 more|arXiv (Cornell University)|Dec 11, 2019

Text and Document Classification Technologies参考文献 24被引用 7

一句话总结

本文提出了一种紧凑的、上下文感知的关键词检测模型，采用图卷积网络（GCN）捕捉频谱图特征中的长距离依赖关系。通过将GCN集成到残差瓶颈结构（CENet）中，该方法在Google语音命令数据集上实现了最先进的准确率，且计算成本更低、模型参数量更小，优于先前的方法。

ABSTRACT

Despite the recent successes of deep neural networks, it remains challenging to achieve high precision keyword spotting task (KWS) on resource-constrained devices. In this study, we propose a novel context-aware and compact architecture for keyword spotting task. Based on residual connection and bottleneck structure, we design a compact and efficient network for KWS task. To leverage the long range dependencies and global context of the convolutional feature maps, the graph convolutional network is introduced to encode the non-local relations. By evaluated on the Google Speech Command Dataset, the proposed method achieves state-of-the-art performance and outperforms the prior works by a large margin with lower computational cost.

研究动机与目标

• 解决在资源受限设备上实现高精度关键词检测的挑战，同时保持低延迟和小模型尺寸。
• 改进卷积特征图中的长距离上下文建模，而标准CNN和RNN难以有效捕捉此类依赖关系。
• 设计一种紧凑且高效的神经网络架构，适用于设备端部署，同时保持高检测准确率。
• 探索将图卷积网络集成到关键词检测中，实现全局特征上下文编码。
• 评估GCN在神经网络不同残差块中的位置对性能提升的影响。

提出的方法

• 提出一种基于残差连接和瓶颈模块的紧凑卷积网络（CENet），以降低模型复杂度和参数量。
• 引入一种带有注意力机制的图卷积网络（GCN）模块，通过基于相似度加权的方式聚合所有位置的特征，实现对特征图中非局部长距离依赖关系的建模。
• 在多个残差阶段（Stage-1、-2、-3）应用GCN模块，以引入多层级上下文信息，增强特征表示能力。
• 在GCN中采用消息传递机制，通过基于相似度的加权方式，聚合所有其他位置的特征来更新每个特征图位置的表示。
• 使用梅尔频率倒谱系数（MFCC）和滤波器组（fbank）特征作为输入，其中fbank在所有实验中均带来0–1.0%的准确率增益。
• 在Google语音命令数据集上端到端训练模型，并通过准确率、误报率（FAR）和漏检率（FRR）评估性能。

实验结果

研究问题

• RQ1 紧凑轻量的神经网络架构是否能在资源受限设备上实现最先进的关键词检测性能？
• RQ2 在关键词检测中引入图卷积网络是否能有效提升频谱图特征的长距离上下文建模能力？
• RQ3 在神经网络架构中，GCN模块在哪个位置（早期、中期或晚期层）能带来最大的性能增益？
• RQ4 与先前方法相比，GCN方法在准确率、参数量和计算成本方面表现如何？
• RQ5 使用fbank特征替代MFCC是否能提升所提模型的性能？

主要发现

• 所提出的CENet-GCN-6模型在Google语音命令数据集上达到95.2%的准确率，较基线CENet-6（93.9%）提升1.3个百分点，较先前最先进方法提升1.0个百分点。
• 在Stage-2中插入GCN模块带来最高的单阶段性能提升，准确率提高1.1%。
• 在所有三个残差阶段（1、2和3）均引入GCN模块可实现最佳性能（95.2%），表明多层级上下文特征增强具有显著优势。
• GCN模块仅使模型参数增加11.4K（从16.2K增至27.6K），计算成本增加32%（从1.95M增至2.55M FLOPs），体现出极高的效率。
• 使用fbank输入的模型在所有变体中均比MFCC输入提升0–1.0%，表明fbank特征更能有效保留频谱-时间相关性。
• 可视化与ROC曲线分析表明，GCN增强了特征图中判别性区域的响应，并显著降低了误报率与漏检率，尤其在低阈值下表现更优。