[论文解读] Opening the Black Box of wav2vec Feature Encoder

Kwanghee Choi, Eun Jung Yeo|arXiv (Cornell University)|Oct 27, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本文通过向wav2vec的卷积特征编码器输入合成的正弦波信号，研究其内部表征。结果表明，潜在空间编码了基频、共振峰、振幅和精确的时间信息，形成一个度量空间，其中相近的表示反映声学相似性，从而为模型学习到的表征提供了可解释性。

ABSTRACT

Self-supervised models, namely, wav2vec and its variants, have shown promising results in various downstream tasks in the speech domain. However, their inner workings are poorly understood, calling for in-depth analyses on what the model learns. In this paper, we concentrate on the convolutional feature encoder where its latent space is often speculated to represent discrete acoustic units. To analyze the embedding space in a reductive manner, we feed the synthesized audio signals, which is the summation of simple sine waves. Through extensive experiments, we conclude that various information is embedded inside the feature encoder representations: (1) fundamental frequency, (2) formants, and (3) amplitude, packed with (4) sufficient temporal detail. Further, the information incorporated inside the latent representations is analogous to spectrograms but with a fundamental difference: latent representations construct a metric space so that closer representations imply acoustic similarity.

研究动机与目标

• 理解wav2vec卷积特征编码器潜在表征中编码了哪些声学信息。
• 探究特征编码器是否学习离散的声学单元或连续的表征。
• 分析潜在空间的结构，判断其是否形成反映声学相似性的度量空间。
• 评估基频、共振峰、振幅和时间动态等不同声学成分对学习表征的贡献。

提出的方法

• 使用由简单正弦波组成的合成音频信号作为输入，以探测特征编码器。
• 分析模型在不同正弦波参数（包括频率、振幅和相位）下的潜在表征。
• 检查潜在空间中嵌入的空间排列，以评估距离是否反映声学相似性。
• 通过受控的正弦波组合实验，隔离各个声学特征的贡献。
• 将学习到的表征与频谱图进行比较，识别其相似点与关键差异。
• 采用简化分析方法，分离基频、共振峰、振幅和时间动态的贡献。

实验结果

研究问题

• RQ1 wav2vec特征编码器的潜在空间中编码了哪些具体的声学特征？
• RQ2 潜在空间是否形成一个度量空间，使得声学信号越相似，其表征越接近？
• RQ3 基频、共振峰、振幅和时间动态如何贡献于学习到的表征？
• RQ4 表征在结构和信息内容上与频谱图的相似程度如何？
• RQ5 该特征编码器是否可被解释为学习离散的声学单元，还是仅捕捉连续的声学属性？

主要发现

• 潜在表征将基频作为学习空间中的关键组成部分。
• 共振峰在特征编码器的潜在空间中得到稳健表示，表明其具有语音敏感性。
• 振幅调制在潜在空间中得以保留且可区分，反映了能量动态。
• 时间细节被充分解析，能够捕捉细微的声学变化。
• 潜在空间形成一个度量空间，其中距离越近的嵌入对应越高的声学相似性。
• 表征与频谱图类似，但在度量结构上存在根本性差异，从而能够直接比较声学相似性。