[论文解读] SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame Interpolation

Jiaben Chen, Huaizu Jiang|arXiv (Cornell University)|Aug 31, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

本文提出了 SportsSloMo，一个包含13万段高分辨率（≥720p）体育视频片段的新基准，用于以人为中心的视频帧插值任务，其特点为复杂的人体运动和频繁的遮挡。为提升插值精度，本文提出了一种与模型无关的人体感知损失项，利用实例分割和关键点检测作为辅助监督，显著提升了七种最先进视频帧插值（VFI）方法的性能，PSNR 最高提升 0.69 dB，SSIM 提升 0.006。

ABSTRACT

Human-centric video frame interpolation has great potential for improving people's entertainment experiences and finding commercial applications in the sports analysis industry, e.g., synthesizing slow-motion videos. Although there are multiple benchmark datasets available in the community, none of them is dedicated for human-centric scenarios. To bridge this gap, we introduce SportsSloMo, a benchmark consisting of more than 130K video clips and 1M video frames of high-resolution ($\geq$720p) slow-motion sports videos crawled from YouTube. We re-train several state-of-the-art methods on our benchmark, and the results show a decrease in their accuracy compared to other datasets. It highlights the difficulty of our benchmark and suggests that it poses significant challenges even for the best-performing methods, as human bodies are highly deformable and occlusions are frequent in sports videos. To improve the accuracy, we introduce two loss terms considering the human-aware priors, where we add auxiliary supervision to panoptic segmentation and human keypoints detection, respectively. The loss terms are model agnostic and can be easily plugged into any video frame interpolation approaches. Experimental results validate the effectiveness of our proposed loss terms, leading to consistent performance improvement over 5 existing models, which establish strong baseline models on our benchmark. The dataset and code can be found at: https://neu-vi.github.io/SportsSlomo/.

研究动机与目标

• 为解决在具有复杂人体运动和遮挡的动态体育场景中，以人为中心的视频帧插值缺乏专用基准的问题。
• 评估现有最先进 VFI 方法在以人为中心内容上的性能下降情况，揭示其在真实应用中的显著挑战。
• 提出与模型无关的人体感知损失项——基于全景分割和关键点检测，以提升运动边界处的插值精度。
• 发布一个大规模、精心筛选的 13 万段高分辨率体育视频片段数据集，以推动未来在以人为中心的视频生成与分析领域的研究。

提出的方法

• 作者从 YouTube 上收集了 13 万段高分辨率（≥720p）慢动作体育视频片段，依据知识共享许可协议，剔除非慢动作、广告和转场内容。
• 每段视频被分割为 9 帧的片段，其中首帧和末帧作为输入，中间七帧作为真实值用于训练和评估。
• 引入两种辅助损失项：一种用于全景人体分割，以提升边界精度并减少伪影；另一种用于人体关键点检测，以确保运动轨迹的一致性。
• 这些损失在训练过程中应用，且与模型无关，可无缝集成到任意 VFI 框架中，无需修改网络结构。
• 通过使用预训练的全景分割和关键点检测模型作为监督，将预测的中间帧与真实值进行比较以计算损失。
• 该方法在七种最先进 VFI 模型上进行了评估，包括 SuperSloMo 和 EBME，结果在 PSNR、SSIM 和 IE 等指标上均表现出一致的性能提升。

Figure 1: Human-centric video frame interpolation results. We propose human-aware auxiliary losses to improve interpolation accuracy at motion boundaries. From left to right: (a): Overlayed inputs, (b): Ground truth, (c): Interpolation results, (d): Interpolation results with our proposed human-awar

实验结果

研究问题

• RQ1 当应用于具有复杂运动和遮挡的体育视频时，现有最先进视频帧插值模型的性能会如何下降？
• RQ2 来自人体分割和关键点检测的辅助监督是否能提升在高度形变人体运动场景下的插值精度？
• RQ3 与模型无关的人体感知损失在多种 VFI 架构中能将性能提升到何种程度？
• RQ4 当前光流估计在以人为中心场景中的局限性是什么？利用预训练模型的知识蒸馏能否提升 VFI 的光流精度？
• RQ5 能否利用 3D 人体重建技术进一步提升在遮挡或复杂运动场景下的 VFI 性能？

主要发现

• SportsSloMo 基准显著降低了现有最先进 VFI 模型的性能，例如 EBME 在 SNU-FILM 上的 PSNR 为 36.64，而在 SportsSloMo 上降至 30.70，凸显了该数据集的难度。
• 所提出的感知人体损失项在七种最先进模型上均一致提升了 PSNR 最高达 0.69 dB，SSIM 最高提升 0.006，且结合两种损失时增益最大。
• 对于 SuperSloMo，分割与关键点损失的结合使 PSNR 从 29.77 提升至 30.24，SSIM 从 0.910 提升至 0.917。
• 对于 EBME，联合损失使 PSNR 从 30.15 提升至 30.48，SSIM 从 0.941 提升至 0.944，插值误差（IE）降低 5.6%。
• 定性结果表明，高度形变肢体（如肘部和手部）附近的插值效果得到改善，遮挡区域的伪影也明显减少。
• 使用 GMFlow 进行光流知识蒸馏的结果参差不齐，虽提升了 SuperSloMo 的性能，但导致 EBME 性能下降，表明存在领域偏移及模型特异性敏感性。

Figure 2: Visualization of human keypoints [ 78 ] and panoptic segmentation masks [ 10 ] .