[论文解读] Task-agnostic Temporally Consistent Facial Video Editing

Meng Cao, Haozhi Huang+7 more|arXiv (Cornell University)|Jul 3, 2020

Face recognition and analysis参考文献 37被引用 5

一句话总结

该论文提出TFVGAN，一种任务无关、时序一致的面部视频编辑框架，通过结合3D可变形模型与一种新颖的3D时序损失，统一实现人脸交换与重演。通过融合动态训练样本选择与深度混合网络，该方法在多种编辑任务中实现了高保真、无闪烁的视频生成，在时序一致性和真实感方面达到当前最先进水平。

ABSTRACT

Recent research has witnessed the advances in facial image editing tasks. For video editing, however, previous methods either simply apply transformations frame by frame or utilize multiple frames in a concatenated or iterative fashion, which leads to noticeable visual flickers. In addition, these methods are confined to dealing with one specific task at a time without any extensibility. In this paper, we propose a task-agnostic temporally consistent facial video editing framework. Based on a 3D reconstruction model, our framework is designed to handle several editing tasks in a more unified and disentangled manner. The core design includes a dynamic training sample selection mechanism and a novel 3D temporal loss constraint that fully exploits both image and video datasets and enforces temporal consistency. Compared with the state-of-the-art facial image editing methods, our framework generates video portraits that are more photo-realistic and temporally smooth.

研究动机与目标

• 解决面部视频编辑中的时序不一致性问题，如视觉闪烁，此类问题常见于逐帧或拼接帧的方法。
• 将多种面部视频编辑任务——人脸交换与重演——统一到一个无需任务特定微调的可扩展框架中。
• 通过3D面部重建实现身份、姿态与表情的解耦操控，提升编辑自由度。
• 通过动态训练样本选择机制，结合图像与视频数据集，提升训练效率与生成保真度。
• 基于密集光流与重心坐标插值，设计一种新颖的3D时序损失，以强化连续帧间的一致性。

提出的方法

• 采用3D可变形模型（3DMM）将面部图像解耦为身份、姿态与表情系数，实现统一操控。
• 引入一种动态训练样本选择机制，在训练过程中交替使用图像与视频数据集，以平衡多样性与时序监督。
• 设计一种基于密集光流图与重心坐标插值的新型3D时序损失，以强化相邻帧间的一致性。
• 使用光栅化渲染器将解耦的3D系数重新组合为变换后的人脸序列。
• 通过深度混合网络将渲染后的人脸与辅助外观提示融合，生成照片级真实感输出。
• 采用图像与视频数据集的混合数据，通过对抗性方式联合优化保真度与一致性，端到端训练整个框架。

实验结果

研究问题

• RQ1 统一框架是否能在无需任务特定设计的前提下，同时处理多种面部视频编辑任务（如人脸交换与重演）？
• RQ2 在逐帧变换的场景下，如何显式地在视频编辑中强制实现时序一致性，以消除闪烁现象，尤其是当仅依赖帧级操作时？
• RQ3 与独立训练相比，联合使用混合图像与视频数据集在提升保真度与时序一致性方面有多大改善？
• RQ4 3D面部重建是否能超越基于2D关键点的方法，实现身份、姿态与表情的更优解耦操控？
• RQ5 所提出的3D时序损失在减少光度误差与提升帧间视觉平滑性方面效果如何？

主要发现

• 在VoxCeleb2数据集上，TFVGAN在人脸重演任务中实现FID为24.4，显著优于基线方法（36.9），当将混合网络替换为AdaIN时。
• 消融实验表明，若移除3D时序损失，时序误差 $E_{ ext{tmp}}$ 从3.65上升至4.69，证实其在保持一致性中的关键作用。
• 动态训练样本选择机制相比仅使用视频数据训练，将时序误差降低12.5%，表明其具有更优的泛化能力。
• 采用批量风格归一化（BSN）层可提升视觉和谐性与上下文一致性，相比AdaIN将光度误差降低15%。
• 在人脸交换任务中，框架实现3.54的时序误差 $E_{ ext{tmp}}$，在重演任务中为3.65，优于当前最先进方法在时序一致性方面的表现。
• 可视化结果表明，3D时序损失能有效减少闪烁，尤其在大姿态变化下效果显著，与无该损失的对比实验清晰显示其优势。