[论文解读] Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models

Hang Ji, Tanvina Patel+1 more|arXiv (Cornell University)|Jun 24, 2022

Speech Recognition and Synthesis被引用 7

一句话总结

本文评估了CPC、wav2vec 2.0和HuBert等自监督语音表征在英语（同语言）和姆邦戈语（跨语言）中对发音特征（AF）的捕捉能力以及音素识别性能。通过帧级AF探针和端到端自动语音识别（ASR）方法，结果表明AF表征质量与音素识别准确率强相关，其中HuBert表现最佳：英语中音素错误率为10.2%，姆邦戈语中为23.0%，相较于MFCC在AF探针任务中分别相对提升了34.4%和26.7%。

ABSTRACT

In this work, we analyzed and compared speech representations extracted from different frozen self-supervised learning (SSL) speech pre-trained models on their ability to capture articulatory features (AF) information and their subsequent prediction of phone recognition performance for within and across language scenarios. Specifically, we compared CPC, wav2vec 2.0, and HuBert. First, frame-level AF probing tasks were implemented. Subsequently, phone-level end-to-end ASR systems for phoneme recognition tasks were implemented, and the performance on the frame-level AF probing task and the phone accuracy were correlated. Compared to the conventional speech representation MFCC, all SSL pre-trained speech representations captured more AF information, and achieved better phoneme recognition performance within and across languages, with HuBert performing best. The frame-level AF probing task is a good predictor of phoneme recognition performance, showing the importance of capturing AF information in the speech representations. Compared with MFCC, in the within-language scenario, the performance of these SSL speech pre-trained models on AF probing tasks achieved a maximum relative increase of 34.4%, and it resulted in the lowest PER of 10.2%. In the cross-language scenario, the maximum relative increase of 26.7% also resulted in the lowest PER of 23.0%.

研究动机与目标

• 评估自监督语音预训练模型对发音特征（AF）信息的捕捉能力。
• 探究AF表征质量与下游音素识别性能之间的相关性。
• 比较SSL模型在同语言（英语）与跨语言（姆邦戈语）场景下的性能表现。
• 确定帧级AF探针是否能够预测端到端ASR的性能。

提出的方法

• 对冻结的SSL模型（CPC、wav2vec 2.0、HuBert）应用帧级发音特征（AF）探针任务，以量化其表征中AF信息的含量。
• 使用SSL提取的特征训练端到端自动语音识别（ASR）系统，用于英语和姆邦戈语中的音素识别。
• 在AF探针和ASR任务中，MFCCs被用作基线进行比较。
• 计算AF探针性能与音素识别准确率之间的皮尔逊相关系数，以评估其预测能力。
• 分析内容包括8个AF维度的宏平均F1分数，以及ASR的词级错误率（WER/PER）。
• 实验设置使用TIMIT数据集进行英语评估，Mboshi数据集用于跨语言分析。

实验结果

研究问题

• RQ1 RQ1：自监督语音预训练模型在英语中建模了哪些发音特征（AF）信息？其与音素识别性能的相关性如何？
• RQ2 RQ2：在英语上预训练的SSL模型，对姆邦戈语这种不同语言的AF信息建模程度如何？其与该语言中音素识别性能的相关性如何？
• RQ3 RQ3：帧级AF探针性能是否能够预测同语言与跨语言场景下的下游音素识别准确率？

主要发现

• 在同语言场景中，HuBert在AF探针任务中表现最佳，相较于MFCC相对提升34.4%，音素错误率（PER）最低，为10.2%。
• 在跨语言场景中，HuBert在AF探针任务中相较于MFCC相对提升26.7%，在姆邦戈语上实现了最低的PER（23.0%）。
• 在跨语言场景中，AF探针性能与音素识别准确率之间的皮尔逊相关系数达到0.990，表明存在极强的预测关系。
• 所有SSL模型（CPC、wav2vec 2.0、HuBert）在AF信息捕捉方面均优于MFCC，且在同语言与跨语言设置中均实现了低于MFCC的PER。
• 英语与姆邦戈语之间性能差距的部分原因在于姆邦戈语数据集的音素数量更多、训练语者更少，导致识别更具挑战性。
• HuBert性能优越的原因归因于其声学单元发现（AUD）模块，该模块提供了伪标签，从而增强了表征学习。