[论文解读] Spoken Language Identification using ConvNets

Sarthak, Shikhar Shukla+1 more|arXiv (Cornell University)|Oct 9, 2019

Speech Recognition and Synthesis参考文献 24被引用 11

一句话总结

本文提出一种1D-ConvNet，直接使用原始音频波形进行语音语言识别，跳过对数梅尔倒谱图的计算；同时提出一种结合注意力机制和双向GRU的2D-ConvNet，使用对数梅尔倒谱图；后者在六种语言（英语、法语、德语、西班牙语、俄语、意大利语）上通过mixup数据增强技术实现了95.4%的准确率，在VoxForge数据集上展示了音频与图像领域最先进的性能。

ABSTRACT

Language Identification (LI) is an important first step in several speech processing systems. With a growing number of voice-based assistants, speech LI has emerged as a widely researched field. To approach the problem of identifying languages, we can either adopt an implicit approach where only the speech for a language is present or an explicit one where text is available with its corresponding transcript. This paper focuses on an implicit approach due to the absence of transcriptive data. This paper benchmarks existing models and proposes a new attention based model for language identification which uses log-Mel spectrogram images as input. We also present the effectiveness of raw waveforms as features to neural network models for LI tasks. For training and evaluation of models, we classified six languages (English, French, German, Spanish, Russian and Italian) with an accuracy of 95.4% and four languages (English, French, German, Spanish) with an accuracy of 96.3% obtained from the VoxForge dataset. This approach can further be scaled to incorporate more languages.

研究动机与目标

• 评估原始音频波形作为端到端语音语言识别深度学习模型的直接输入特征，避免对数梅尔倒谱图提取的计算开销。
• 基准现有模型并提出一种新颖的基于注意力机制的2D-ConvNet与双向GRU结合架构，以提升语言识别性能。
• 探究数据增强技术（如mixup）和注意力机制在提升低资源语音语言识别任务中模型泛化能力与准确率方面的有效性。
• 比较不同语言集合（包括四种和六种语言，且来自印欧语系的重叠音素）下的模型性能。
• 探索从原始音频端到端学习的可行性，无需转录监督，聚焦于隐式语言识别。

提出的方法

• 使用时间卷积层直接在原始音频波形上训练1D-ConvNet，以提取判别性特征，无需预先进行谱图变换。
• 将2D-ConvNet应用于对数梅尔倒谱图图像，引入空间与通道注意力机制，突出显著的频域与时域特征。
• 在2D-ConvNet之后堆叠双向GRU，以建模语音序列中的长程时序依赖关系。
• 对两种模型均应用mixup数据增强，通过输入对与标签的凸组合生成训练样本，以提升鲁棒性并减少过拟合。
• 通过学习率、滤波器大小与网络深度的超参数调优，优化两种架构的验证准确率。
• 使用混淆矩阵与k折交叉验证评估模型泛化能力，并分析语音相似语言间的误分类模式。

实验结果

研究问题

• RQ1 原始音频波形能否在不进行对数梅尔倒谱图预处理的情况下，作为有效输入特征用于端到端语音语言识别？
• RQ2 mixup数据增强如何提升ConvNet架构在VoxForge数据集上语音语言识别模型的泛化能力与准确率？
• RQ3 注意力机制与双向RNN在2D-ConvNet架构中在多大程度上提升了语言识别性能？
• RQ4 在具有重叠音素的语言组（如罗曼语、Germanic、斯拉夫语）中，模型性能与误分类模式如何变化？
• RQ5 在准确率与计算效率方面，基于原始波形的1D-ConvNet与基于对数梅尔倒谱图的2D-ConvNet相比，其相对有效性如何？

主要发现

• 使用原始音频波形的1D-ConvNet在六种语言的k折交叉验证中，平均准确率达到93.7%，标准差为0.3%。
• 结合注意力机制与双向GRU的2D-ConvNet在六种语言上，未使用mixup时准确率为95.0%，使用mixup后达到95.4%，显著优于先前方法。
• mixup增强在所有实验中均一致提升了泛化能力，使2D-ConvNet在六种语言上的准确率从94.3%提升至95.4%。
• 模型在同一体系语言之间（如罗曼语：法语、西班牙语、意大利语）的混淆程度更高，表明语音相似性是主要挑战。
• 尽管分属不同语系，法语与俄语之间也发生了误分类，原因在于借词的发音相似性，如'automate'与'ABTOMaT'。
• 结合mixup的2D-ConvNet在四种语言（英语、法语、德语、西班牙语）上达到了96.3%的准确率，优于该子集上的先前最先进模型。