[论文解读] Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert

Jiadong Wang, Xinyuan Qian+3 more|arXiv (Cornell University)|Mar 29, 2023

Speech and Audio Processing被引用 5

一句话总结

本文提出 TalkLip，一种新颖的说话人脸生成模型，通过集成唇读专家在训练过程中惩罚不正确的唇部动作，从而提升阅读可理解性。通过利用自监督的音视频表征学习，并引入具有全局上下文感知能力的音频 Transformer 的对比学习，TalkLip 在词错误率（LRS2 数据集上 38% WER）和准确率（LRW 数据集上 27.8%）方面达到当前最优性能，显著优于先前方法，在保持强同步性和视觉质量的同时，大幅提升了可理解性。

ABSTRACT

Talking face generation, also known as speech-to-lip generation, reconstructs facial motions concerning lips given coherent speech input. The previous studies revealed the importance of lip-speech synchronization and visual quality. Despite much progress, they hardly focus on the content of lip movements i.e., the visual intelligibility of the spoken words, which is an important aspect of generation quality. To address the problem, we propose using a lip-reading expert to improve the intelligibility of the generated lip regions by penalizing the incorrect generation results. Moreover, to compensate for data scarcity, we train the lip-reading expert in an audio-visual self-supervised manner. With a lip-reading expert, we propose a novel contrastive learning to enhance lip-speech synchronization, and a transformer to encode audio synchronically with video, while considering global temporal dependency of audio. For evaluation, we propose a new strategy with two different lip-reading experts to measure intelligibility of the generated videos. Rigorous experiments show that our proposal is superior to other State-of-the-art (SOTA) methods, such as Wav2Lip, in reading intelligibility i.e., over 38% Word Error Rate (WER) on LRS2 dataset and 27.8% accuracy on LRW dataset. We also achieve the SOTA performance in lip-speech synchronization and comparable performances in visual quality.

研究动机与目标

• 为解决语音驱动说话人脸生成中对阅读可理解性关注不足的问题，这对听力障碍用户至关重要。
• 通过引入基于唇读专家的新型跨模态对比学习策略，提升唇部与语音的同步性。
• 利用与唇读专家同步预训练的 Transformer 编码器，建模音频中的长程时序依赖关系。
• 提出一种新的评估策略，使用两个唇读专家来客观衡量可理解性。
• 通过使用 AV-Hubert 进行自监督音视频联合预训练，缓解唇读任务中的数据稀缺问题。

提出的方法

• 使用唇读专家将生成的面部视频序列转录为文本，转录错误作为损失函数，用于在训练过程中惩罚不正确的唇部动作。
• 唇读专家通过 AV-Hubert（一种自监督音视频表征学习方法）进行预训练，实现无需大规模人工标注即可获得鲁棒性能。
• 引入对比学习目标，将生成器的音频嵌入与唇读编码器的视觉上下文特征对齐，增强唇部与语音的同步性。
• 采用基于 Transformer 的音频编码器，捕捉整个话语的全局时序依赖关系，提升音素级表征与同步性。
• 生成器通过联合优化唇读损失、对比损失以及标准的 GAN 和感知损失进行训练，以平衡可理解性、同步性和视觉质量。
• 提出一种新的评估协议，使用两个独立的唇读专家计算连续语音的词错误率和孤立词的准确率。

实验结果

研究问题

• RQ1 将唇读专家作为监督信号是否能提升生成说话人脸视频的阅读可理解性？
• RQ2 音频与视觉特征之间的对比学习是否能增强说话人脸生成中的唇部-语音同步性？
• RQ3 与局部或短时序编码器相比，具备全局上下文感知能力的音频编码器是否能提升音素级表征与同步性？
• RQ4 对唇读专家进行自监督预训练是否能有效缓解唇读任务中的数据稀缺问题？
• RQ5 采用多个唇读专家的新评估策略是否能为说话人脸生成中的可理解性提供可靠且客观的基准？

主要发现

• TalkLip 在 LRS2 数据集上实现了 38% 的词错误率，显著优于先前的 SOTA 方法，在可理解性方面表现更优。
• 在 LRW 数据集上，TalkLip 在孤立词识别中达到 27.8% 的准确率，表明其在可理解性方面优于现有方法。
• 引入唇读损失后，LRS2 上的可理解性提升至少 26.5%，LRW 上提升至少 31.2%，证实其有效性。
• 对比学习减少了相似词汇（如 'Meeting' 与 'Media'）之间的嵌入混淆，使 LRS2 上的词错误率降低至少 6.5%，LRW 上的准确率提升至少 3.39%。
• 全局音频 Transformer 编码器优于局部编码器，显著提升了词错误率与准确率，证实建模长程时序依赖关系的优势。
• 所提出的双唇读专家评估策略提供了可靠且可复现的可理解性基准，相关代码已公开发布。