[论文解读] What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure

Jui Shah, Yaman Kumar+2 more|arXiv (Cornell University)|Jan 2, 2021

Speech Recognition and Synthesis参考文献 58被引用 6

一句话总结

本文探究了 wav2vec2.0 和 Mockingjay 两种最先进的音频 Transformer 模型，以理解其学习表征所捕捉的语言和声学特征。通过在母语、非母语、朗读和即兴口语等四类语音上开展的 47 项探针任务，研究发现 wav2vec2.0 在建模音频和流利度特征方面表现更优，而 Mockingjay 在发音和句法特征方面表现更佳，且性能在不同层和语音类型间存在显著差异。

ABSTRACT

In recent times, BERT based transformer models have become an inseparable part of the 'tech stack' of text processing models. Similar progress is being observed in the speech domain with a multitude of models observing state-of-the-art results by using audio transformer models to encode speech. This begs the question of what are these audio transformer models learning. Moreover, although the standard methodology is to choose the last layer embedding for any downstream task, but is it the optimal choice? We try to answer these questions for the two recent audio transformer models, Mockingjay and wave2vec2.0. We compare them on a comprehensive set of language delivery and structure features including audio, fluency and pronunciation features. Additionally, we probe the audio models' understanding of textual surface, syntax, and semantic features and compare them to BERT. We do this over exhaustive settings for native, non-native, synthetic, read and spontaneous speech datasets

研究动机与目标

• 探究类似 wav2vec2.0 和 Mockingjay 的音频 Transformer 模型的高维表征中编码了哪些语言和声学特征。
• 在包括母语、非母语、朗读和即兴口语在内的多种语音类型中，比较 wav2vec2.0 和 Mockingjay 的表征能力。
• 识别在提取特定特征（如音频、流利度、超音段、句法）时最优的模型和层，以支持下游任务。
• 评估所学表征在不同语音环境和下游应用（如说话人识别和音位分类）之间的可迁移性。
• 提供各层特征学习的系统性映射，以指导现实应用中特征提取的模型选择。

提出的方法

• 设计并实现 47 项探针任务，覆盖四大类高层次语言特征：音频、流利度、超音段发音和基于文本的特征。
• 从每个输入语音样本的 wav2vec2.0 和 Mockingjay 模型的多个中间层提取嵌入表征。
• 在每个层的表征上训练线性探针，以分类特定语言特征，并使用准确率等指标评估学习能力。
• 在多种语音类型（母语-朗读、母语-即兴、非母语-朗读）上评估模型，以检验其鲁棒性和泛化能力。
• 使用最佳层、最后一层以及所有层的加权平均嵌入，在 VoxCeleb 上进行说话人识别，在 LibriSpeech 上进行音位分类，开展下游任务。
• 比较不同层和任务上的模型性能，以识别分层特征学习模式和模型特异性优势。

实验结果

研究问题

• RQ1 wav2vec2.0 和 Mockingjay 的中间表征捕捉了哪些语言和声学特征？
• RQ2 不同语音类型（母语-朗读、母语-即兴、非母语-朗读）下，特征探针性能如何变化？
• RQ3 wav2vec2.0 和 Mockingjay 哪一模型更有效地学习哪些特征，且在哪些层上？
• RQ4 这些模型的表征在说话人识别和音位分类等下游任务中如何迁移？
• RQ5 这些模型在即兴或非母语等非受控语音设置下的泛化能力如何？

主要发现

• wav2vec2.0 在音频和与流利度相关的探针任务中优于 Mockingjay，在其最佳层上实现了 91% 的说话人识别准确率。
• Mockingjay 在发音和句法特征上优于 wav2vec2.0，尤其在受控的母语-朗读设置中表现更优。
• wav2vec2.0 中音频特征的最佳层为第一层，而发音特征的最佳层为第六层。
• 下游任务性能在模型和层之间存在显著差异：wav2vec2.0 使用所有层的加权平均实现 87% 的说话人识别准确率，而 Mockingjay 仅为 26%。
• 两种模型在即兴和非母语语音上的性能均下降，表明语音类型对表征质量的影响强于说话人类型。
• 出人意料的是，在干净、受控的母语语音设置中，音频 Transformer 在基于文本的特征上优于 BERT，但在即兴语音等非受控环境中无法泛化。