[论文解读] Rethinking Resolution in the Context of Efficient Video Recognition

Chuofan Ma, Qiushan Guo+4 more|arXiv (Cornell University)|Sep 26, 2022

Advanced Image Processing Techniques被引用 10

一句话总结

本文提出跨分辨率知识蒸馏（ResKD），一种将高分辨率教师网络的知识迁移至低分辨率学生网络的方法，以在不牺牲效率的前提下提升视频识别准确率。ResKD 显著提升了低分辨率输入下的性能——在 Mini-Kinetics 上以 4 倍更少的 FLOPs 实现了远超当前最先进方法的准确率，表现尤为突出。

ABSTRACT

In this paper, we empirically study how to make the most of low-resolution frames for efficient video recognition. Existing methods mainly focus on developing compact networks or alleviating temporal redundancy of video inputs to increase efficiency, whereas compressing frame resolution has rarely been considered a promising solution. A major concern is the poor recognition accuracy on low-resolution frames. We thus start by analyzing the underlying causes of performance degradation on low-resolution frames. Our key finding is that the major cause of degradation is not information loss in the down-sampling process, but rather the mismatch between network architecture and input scale. Motivated by the success of knowledge distillation (KD), we propose to bridge the gap between network and input size via cross-resolution KD (ResKD). Our work shows that ResKD is a simple but effective method to boost recognition accuracy on low-resolution frames. Without bells and whistles, ResKD considerably surpasses all competitive methods in terms of efficiency and accuracy on four large-scale benchmark datasets, i.e., ActivityNet, FCVID, Mini-Kinetics, Something-Something V2. In addition, we extensively demonstrate its effectiveness over state-of-the-art architectures, i.e., 3D-CNNs and Video Transformers, and scalability towards super low-resolution frames. The results suggest ResKD can serve as a general inference acceleration method for state-of-the-art video recognition. Our code will be available at https://github.com/CVMI-Lab/ResKD.

研究动机与目标

• 探究尽管具备效率潜力，为何视频识别模型在低分辨率输入下表现不佳。
• 识别低分辨率视频识别性能下降的根本原因，挑战“下采样导致的信息损失是主要问题”的假设。
• 开发一种通用、可扩展且高效的蒸馏方法，以充分发挥低分辨率帧在视频识别中的潜力。
• 证明跨分辨率知识蒸馏能够有效弥合高分辨率与低分辨率输入之间的性能差距。

提出的方法

• ResKD 使用在 224×224 帧上训练的高分辨率教师网络，监督在 112×112 帧上训练的低分辨率学生网络进行蒸馏。
• 该方法采用多层次监督：使用 KL 散度和均方误差损失，在片段级、帧级和像素级实现知识迁移。
• 实证表明，帧级和像素级监督至关重要，仅使用帧级蒸馏即可实现超过 3% 的 mAP 提升，优于仅使用片段级蒸馏。
• 蒸馏过程收缩了学生模型的有效感受野（ERF），使其更匹配低分辨率输入中物体的尺度。
• ResKD 具备架构无关性，在 3D-CNN 和视频 Transformer（包括 Swin Transformer）中均表现出色。
• 消融实验表明，使用高分辨率输入进行教师蒸馏的分辨率蒸馏，比仅使用模型蒸馏更有效。

实验结果

研究问题

• RQ1 为何视频识别模型在低分辨率输入下性能显著下降，且下采样导致的信息损失是否为主要原因？
• RQ2 网络架构与输入尺度之间的不匹配在多大程度上导致了低分辨率帧上的性能下降？
• RQ3 跨分辨率知识蒸馏能否有效弥合高分辨率与低分辨率输入之间的性能差距？
• RQ4 在跨分辨率设置下，监督信号的选择（片段级、帧级、像素级）如何影响知识蒸馏的有效性？
• RQ5 ResKD 是否可在不同视频识别架构上泛化，并可扩展至超低分辨率输入？

主要发现

• 下采样过程中的信息损失对识别准确率仅有轻微影响，表明高分辨率帧中存在大量与任务无关的冗余信息。
• 低分辨率输入下性能下降的主要原因并非信息损失，而是架构不匹配——当前模型在适配低分辨率输入时表现不佳。
• 在 ActivityNet 上，当学生网络为 ResNet-50、教师网络为 ResNet-152 时，ResKD 达到 78.5% 的 mAP，比基线高出 6.7 个百分点。
• 在 Mini-Kinetics 上，ResKD 的 Top-1 准确率比 AdaFocus V2 高 1.4%，同时仅使用 1/4 的 FLOPs。
• 将 ResKD 应用于 Video Swin Transformer 后，每视频的推理 FLOPs 降低超过 1000 GFLOPs，且准确率未下降。
• ResKD 改进了注意力定位，使模型更聚焦于相关物体，减少对背景的激活，该结果通过特征图可视化得到验证。