[论文解读] QuartzNet: Deep Automatic Speech Recognition with 1D Time-Channel Separable Convolutions

Samuel Kriman, Stanislav Beliaev+7 more|arXiv (Cornell University)|Oct 22, 2019

Speech Recognition and Synthesis参考文献 27被引用 31

一句话总结

QuartzNet 引入了一种深度、高效的端到端自动语音识别模型，采用一维时间-通道可分离卷积，在参数量少于 2000 万个的情况下，于 LibriSpeech 和 Wall Street Journal 数据集上实现了接近最先进水平的词错误率，显著少于先前模型，同时支持在资源受限设备上实现快速训练与部署。

ABSTRACT

We propose a new end-to-end neural acoustic model for automatic speech recognition. The model is composed of multiple blocks with residual connections between them. Each block consists of one or more modules with 1D time-channel separable convolutional layers, batch normalization, and ReLU layers. It is trained with CTC loss. The proposed network achieves near state-of-the-art accuracy on LibriSpeech and Wall Street Journal, while having fewer parameters than all competing models. We also demonstrate that this model can be effectively fine-tuned on new datasets.

研究动机与目标

• 开发一种紧凑的端到端自动语音识别模型，其参数量显著少于现有模型，同时实现接近最先进水平的准确率。
• 降低 ASR 模型的计算与内存需求，以实现在移动设备和嵌入式设备上的部署。
• 设计一种基于深度可分离卷积的模型架构，通过解耦一维卷积中的时间与通道操作，提升效率。
• 通过在目标领域数据有限的新数据集上进行微调，展示有效的迁移学习能力。
• 通过模型压缩和混合精度训练，实现高推理吞吐量与更快的训练速度。

提出的方法

• 用一维时间-通道可分离卷积替代标准的一维卷积，将卷积操作分解为时间维度上的深度可分离卷积和通道维度上的逐点卷积。
• 将模型结构设计为残差块的堆叠，每个残差块包含多个模块，依次为深度可分离卷积、逐点卷积、批归一化和 ReLU 激活。
• 使用连接时序分类（CTC）损失进行端到端训练，直接将原始音频特征映射到字符序列。
• 应用数据增强技术，包括速度扰动和 SpecCutout，以提升模型的鲁棒性与泛化能力。
• 采用混合精度训练，以减少内存占用，并在多 GPU 系统上加速训练。
• 在新数据集（如 WSJ）上通过迁移学习对预训练模型进行微调，以适应新领域，且仅需少量目标领域数据。

实验结果

研究问题

• RQ1 使用一维时间-通道可分离卷积的深度神经网络能否在显著减少参数量的情况下实现接近最先进水平的 ASR 性能？
• RQ2 与参数量更大的现有端到端 ASR 模型相比，所提出的架构在准确率与效率方面表现如何？
• RQ3 在仅使用有限目标领域数据的情况下，该模型在多大程度上能泛化到新领域？
• RQ4 混合精度训练与数据增强对模型收敛性和推理质量有何影响？
• RQ5 该模型是否能在 LibriSpeech 和 Wall Street Journal 基准测试中均保持高性能，同时适用于低资源设备的部署？

主要发现

• QuartzNet-15x5 在 LibriSpeech test-clean 上达到 2.96% 的词错误率，在 test-other 上达到 7.53%（经微调后），仅使用 1890 万个参数，接近最先进水平。
• 在训练 3000 个周期后，模型在 LibriSpeech test-clean 上达到 3.87% WER，在 test-other 上达到 10.61% WER，表明其在大批次优化下具有强大的收敛能力。
• 在 Wall Street Journal 数据集上，QuartzNet-5x3 在 nov92-eval 上实现 4.82% WER，使用 Transformer-XL 语言模型，优于参数更多的 RNN-CTC 和 ResCNN-LAS 模型。
• 在 80 小时 WSJ 数据上对在 LibriSpeech 和 Common Voice 上预训练的 QuartzNet-15x5 模型进行微调，使用 Transformer-XL 语言模型后，WSJ nov92-eval 的 WER 从 8.97% 降低至 2.99%。
• 在 32 个 DGX2 节点上，以全局批量大小 16K 训练 QuartzNet-15x5 模型，将训练时间从 122 小时缩短至 4.3 小时，实现了高效的可扩展性。
• 该模型参数效率极高（参数量少于 2000 万个），因此非常适用于计算与内存受限的移动和嵌入式设备部署。