[论文解读] Talking Head Generation with Audio and Speech Related Facial Action Units

Sen Chen, Zhilei Liu+3 more|arXiv (Cornell University)|Oct 19, 2021

Speech and Audio Processing参考文献 41被引用 10

一句话总结

本文提出了一种新颖的循环生成网络，用于说话头生成，通过整合音频和与语音相关的面部动作单元（AUs）作为驱动信号，以提高唇形同步的准确性和真实感。通过引入音频到AU模块和AU分类器，该模型在GRID和TCD-TIMIT数据集上均实现了图像质量和时间一致性的最先进性能。

ABSTRACT

The task of talking head generation is to synthesize a lip synchronized talking head video by inputting an arbitrary face image and audio clips. Most existing methods ignore the local driving information of the mouth muscles. In this paper, we propose a novel recurrent generative network that uses both audio and speech-related facial action units (AUs) as the driving information. AU information related to the mouth can guide the movement of the mouth more accurately. Since speech is highly correlated with speech-related AUs, we propose an Audio-to-AU module in our system to predict the speech-related AU information from speech. In addition, we use AU classifier to ensure that the generated images contain correct AU information. Frame discriminator is also constructed for adversarial training to improve the realism of the generated face. We verify the effectiveness of our model on the GRID dataset and TCD-TIMIT dataset. We also conduct an ablation study to verify the contribution of each component in our model. Quantitative and qualitative experiments demonstrate that our method outperforms existing methods in both image quality and lip-sync accuracy.

研究动机与目标

• 解决现有说话头生成方法忽略局部嘴部肌肉动态的问题，从而导致唇形不同步和抖动。
• 通过引入与语音相关的面部动作单元（AUs）作为细粒度的局部驱动信号，提升面部动画的准确性。
• 开发一个端到端框架，联合利用音频和AU表征，实现身份保持、高保真度的说话头视频生成。
• 通过对抗性训练结合帧判别器和AU监督，提升生成视频的真实感和时间连贯性。

提出的方法

• 提出一种循环生成网络，利用音频嵌入和预测的与语音相关的面部动作单元（AUs）作为嘴部运动的驱动条件。
• 设计了一个音频到AU模块，使用序列到序列架构，直接从音频输入预测与语音相关的AU激活（例如，AU10、AU14、AU20、AU25、AU26）。
• 采用预训练的AU分类器对生成帧进行监督，确保输出视频中正确保留AU激活模式。
• 通过帧级判别器实施对抗性训练，以提升生成面部图像的真实感和视觉质量。
• 采用多组件损失函数：重建损失、感知损失、身份损失、对抗性损失和AU特异性损失，实现联合优化。
• 利用循环结构（如LSTM或类似结构）建模连续帧之间的时序依赖关系，减少抖动并提升运动流畅性。

实验结果

研究问题

• RQ1 将与语音相关的面部动作单元（AUs）作为局部驱动信号，是否能提升音频驱动说话头生成中的唇形同步准确性？
• RQ2 端到端的音频到AU模块在从原始语音音频预测AU激活方面，对人脸动画的效用如何？
• RQ3 与仅依赖音频的基线方法相比，AU监督在多大程度上提升了生成面部动作的真实感和正确性？
• RQ4 对抗性训练与AU感知损失的结合，是否能同时提升生成说话头视频的图像质量和时间一致性？

主要发现

• 在GRID数据集上，包含音频到AU模块的完整模型取得了最高的PSNR（29.838）和SSIM（0.769），优于所有消融实验变体。
• 在GRID测试集上，模型的AU F1分数平均达到0.949，准确率达到90.79%，表明AU生成具有高度保真度。
• 用户研究表明，77%的参与者更倾向于本方法在唇形同步准确性方面优于CRAN [Song et al., 2019]，92%的参与者更倾向于本方法在视频流畅性方面表现更优。
• 消融研究证实，每个组件（尤其是音频到AU模块和AU损失）均显著提升了唇形同步和视觉质量。
• 与基线相比，添加音频到AU模块使平均AU F1分数提升了0.22，证明其在捕捉语音-运动对应关系方面的有效性。
• 在GRID和TCD-TIMIT数据集上，该模型在图像质量、唇形同步准确性和运动流畅性方面均达到了最先进性能。