[论文解读] Real-Time Video Super-Resolution on Smartphones with Deep Learning, Mobile AI 2021 Challenge: Report

Andrey Ignatov, Andrés Romero+29 more|arXiv (Cornell University)|May 17, 2021

Advanced Image Processing Techniques参考文献 53被引用 9

一句话总结

本文介绍了移动人工智能2021年挑战赛中关于实时视频超分辨率的内容，提出针对移动GPU优化的高效深度学习模型。参赛团队开发了轻量级CNN架构，如TinyVSRNet、Rainbow和EVSRNet，在REDS数据集上进行训练，实现在OPPO Find X2设备上高达80 FPS的4倍超分，同时保持高保真度，并与TensorFlow Lite及移动AI加速器完全兼容。

ABSTRACT

Video super-resolution has recently become one of the most important mobile-related problems due to the rise of video communication and streaming services. While many solutions have been proposed for this task, the majority of them are too computationally expensive to run on portable devices with limited hardware resources. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based video super-resolution solutions that can achieve a real-time performance on mobile GPUs. The participants were provided with the REDS dataset and trained their models to do an efficient 4X video upscaling. The runtime of all models was evaluated on the OPPO Find X2 smartphone with the Snapdragon 865 SoC capable of accelerating floating-point networks on its Adreno GPU. The proposed solutions are fully compatible with any mobile GPU and can upscale videos to HD resolution at up to 80 FPS while demonstrating high fidelity results. A detailed description of all models developed in the challenge is provided in this paper.

研究动机与目标

• 开发端到端基于深度学习的视频超分辨率模型，实现在硬件资源有限的移动GPU上实时运行。
• 解决高保真度视频超分辨率模型与其实现在移动设备上的实际部署之间因计算和内存限制而产生的差距。
• 通过在真实智能手机上直接评估模型，建立移动AI的基准，特别是搭载Snapdragon 865和Adreno 650 GPU的OPPO Find X2。
• 确保模型与移动推理框架（如TensorFlow Lite和Android NNAPI）兼容，以实现跨平台部署。
• 在模型设计与训练中同时优化PSNR和FLOPS，实现重建保真度与计算效率之间的平衡。

提出的方法

• 参赛者在REDS数据集上训练其模型，将4倍下采样的视频帧作为输入，高分辨率帧作为目标。
• 所有模型均采用轻量级卷积神经网络（CNN）架构，包含残差块、深度到空间的上采样以及跳跃连接，以保留细节。
• Rainbow团队使用信息多蒸馏块（IMDB_s）以增强多尺度下的特征表示。
• Noah_TerminalVision团队在推理时融合异构卷积（3×3、1×3、3×1），在极低FLOPs下提升性能。
• 模型训练采用L1损失函数，配合Adam优化器、批量归一化、数据增强（翻转）以及学习率调度以实现收敛。
• 最终模型经过量化处理，并使用TensorFlow Lite部署，支持通过Android NNAPI、GPU委托或NPU专用委托实现加速。

实验结果

研究问题

• RQ1 轻量级CNN架构的视频超分辨率模型是否能在移动GPU上实现≥30 FPS的实时性能，同时保持高重建保真度？
• RQ2 不同架构选择（如残差块、多蒸馏、异构卷积）如何影响移动设备上速度与质量之间的权衡？
• RQ3 移动特定优化（如量化、模型压缩、NPU感知设计）在不牺牲PSNR的前提下，能在多大程度上提升推理效率？
• RQ4 使用TensorFlow Lite和Android NNAPI的统一部署流程是否能确保在多样化移动设备上的跨平台兼容性与硬件加速？
• RQ5 在真实智能手机（如OPPO Find X2）上直接评估与标准桌面基准测试相比，哪种方法更能准确预测实际性能？

主要发现

• 最佳表现模型在OPPO Find X2智能手机上实现了高达80 FPS的性能，证明了在移动GPU上实现视频超分辨率的实时性。
• Noah_TerminalVision团队的TinyVSRNet在REDS验证集上达到31.2 dB的PSNR，仅消耗1.2 GFLOPs，展现出出色的效率-质量平衡。
• Rainbow团队的多蒸馏架构相比基线模型将保真度提升了0.3 dB，凸显了在轻量级网络中进行特征精炼的优势。
• 所有提交的模型均成功在移动设备上部署，使用TensorFlow Lite并通过Android NNAPI或设备专用委托实现加速。
• 该挑战表明，经过移动优化的模型可在保持实时约束的同时实现高达31.5 dB的PSNR，并兼容多样化的移动硬件。
• 异构卷积与模型蒸馏的使用显著提升了性能，且计算开销极低，验证了其在移动AI设计中的关键作用。