[论文解读] Self-supervised Learning of Visual Speech Features with Audiovisual Speech Enhancement.

Zakaria Aldeneh, Anushree Prasanna Kumar+5 more|arXiv (Cornell University)|Apr 25, 2020

Speech and Audio Processing参考文献 20被引用 5

一句话总结

本文提出了一种自监督的音视频语音增强模型，利用视觉特征提升语音质量，揭示了该模型不仅学习到高层次的语音活动检测，还学习到精细的发音信息。所学习的视觉嵌入在无需额外监督的情况下，对视觉音素分类表现出有效性，证明了其在视觉语音应用中的实用性。

ABSTRACT

We present an introspection of an audiovisual speech enhancement model. In particular, we focus on interpreting how a neural audiovisual speech enhancement model uses visual cues to improve the quality of the target speech signal. We show that visual features provide not only high-level information about speech activity, i.e. speech vs. no speech, but also fine-grained visual information about the place of articulation. An interesting byproduct of this finding is that the learned visual embeddings can be used as features for other visual speech applications. We demonstrate the effectiveness of the learned visual representations for classifying visemes (the visual analogy to phonemes). Our results provide insight into important aspects of audiovisual speech enhancement and demonstrate how such models can be used for self-supervision tasks for visual speech applications.

研究动机与目标

• 研究神经音视频语音增强模型如何利用视觉线索以改善语音质量。
• 分析此类模型所学习的视觉表征的本质，特别是其是否捕捉到精细的发音细节。
• 评估这些学习到的视觉特征在下游视觉语音识别任务中的可迁移性。
• 证明自监督视觉语音表征可有效用于视觉音素分类。

提出的方法

• 作者使用配对的音频和视频输入训练神经音视频语音增强模型，以从噪声输入中重建干净语音。
• 采用逐层重要性传播（LRP）方法，解释模型不同层中视觉特征的贡献。
• 从训练好的模型中提取视觉特征，并将其作为输入输入到下游的视觉音素分类头。
• 在视觉音素分类基准上评估模型，以评估所学习视觉表征的质量。
• 分析重点在于识别视觉特征是否不仅编码语音存在性，还编码发音部位等精细发音细节。

实验结果

研究问题

• RQ1 视觉特征在神经音视频语音增强模型中如何贡献于语音增强？
• RQ2 模型所学习的视觉表征中编码的是粗粒度还是细粒度的视觉信息？
• RQ3 通过语音增强学习到的视觉特征能否迁移到其他视觉语音任务？
• RQ4 所学习的视觉特征在多大程度上捕捉到发音部位等发音细节？

主要发现

• 该模型学习到的视觉特征不仅能区分语音与非语音，还能编码关于发音部位的精细信息。
• 从音视频增强模型中提取的视觉特征在视觉音素分类任务中表现优异，表明其表征质量较高。
• 这些视觉表征在无需额外训练或监督的情况下，对下游视觉语音任务也具有有效性。
• 分析表明，视觉线索以一种细致入微的方式被利用，既提升了信号质量，也有助于恢复发音细节。