[论文解读] Multiclass Language Identification using Deep Learning on Spectral Images of Audio Signals

Shauna Revay, Matthew Teschke|arXiv (Cornell University)|May 10, 2019

Speech Recognition and Synthesis参考文献 7被引用 38

一句话总结

本论文提出 LIFAS，一种基于 CNN 的方法，使用原始音频的即时梅尔谱图来识别语言，在六种语言上使用短时 4-second clips 实现二分类准确率 97% 和多类准确率 89%。

ABSTRACT

The first step in any voice recognition software is to determine what language a speaker is using, and ideally this process would be automated. The technique described in this paper, language identification for audio spectrograms (LIFAS), uses spectrograms generated from audio signals as inputs to a convolutional neural network (CNN) to be used for language identification. LIFAS requires minimal pre-processing on the audio signals as the spectrograms are generated during each batch as they are input to the network during training. LIFAS utilizes deep learning tools that are shown to be successful on image processing tasks and applies it to audio signal classification. LIFAS performs binary language classification with an accuracy of 97\%, and multi-class classification with six languages at an accuracy of 89\% on 3.75 second audio clips.

研究动机与目标

• 将自动语言识别作为语音助手和转写系统的一个步骤来推动应用。
• 提出一个端到端的基于 CNN 的流水线，该流水线在原始音频生成的谱图上工作，无需外部特征提取。
• 在六种语言的短音频片段和开源 VoxForge 数据上展示可行性。

提出的方法

• 使用从原始音频即时生成的谱图（梅尔尺度）作为 CNN 输入。
• 采用带残差连接的预训练 ResNet-50 主干网络以实现鲁棒特征学习。
• 使用 1-cycle 学习率策略进行训练，以在 8 个时期内优化收敛。
• 利用 fast.ai/PyTorch 生态系统进行实现和数据处理。
• 同时评估二分类和多类语言识别性能。

实验结果

研究问题

• RQ1 一个在原始音频的即时谱图表示上运行的 CNN 能否在多种语言之间准确识别语言？
• RQ2 音频片段长度对二分类和多类任务的语言识别准确性有何影响？
• RQ3 与先前的特征提取方法相比，基于 ResNet 的架构在谱图输入上的语言识别表现如何？

主要发现

• 二分类语言识别（英语 vs. 俄语）在 60k-sample clips (3.75s) 下达到 97% 的准确率。
• 使用更长的片段（100k samples）的二分类识别达到 97% 的准确率，表明在该设置中 60k 采样以上收益有限。
• 在六种语言上的多类识别在 60k-sample clips 下达到 89% 的准确率。
• 二分类结果在英语和俄语之间显示出稳健的性能，几乎没有误分入其他语言。
• 该研究使用 VoxForge 数据，并进行了仔细的训练/验证分离以避免交叉污染。