[论文解读] Non-local NetVLAD Encoding for Video Classification

Yongyi Tang, Xing Zhang+4 more|arXiv (Cornell University)|Sep 29, 2018

Human Pose and Action Recognition参考文献 28被引用 9

一句话总结

本文提出一种紧凑的单模型视频分类系统，采用非局部NetVLAD编码方法用于YouTube-8M，通过将非局部模块与NetVLAD结合以增强特征表示。该方法在公开测试集上达到0.88763的GAP@20，位列第二届YouTube-8M挑战赛第4名，借助模型平均、bfloat16量化和集成技术，在1GB模型大小限制下实现高性能。

ABSTRACT

This paper describes our solution for the 2$^ ext{nd}$ YouTube-8M video understanding challenge organized by Google AI. Unlike the video recognition benchmarks, such as Kinetics and Moments, the YouTube-8M challenge provides pre-extracted visual and audio features instead of raw videos. In this challenge, the submitted model is restricted to 1GB, which encourages participants focus on constructing one powerful single model rather than incorporating of the results from a bunch of models. Our system fuses six different sub-models into one single computational graph, which are categorized into three families. More specifically, the most effective family is the model with non-local operations following the NetVLAD encoding. The other two family models are Soft-BoF and GRU, respectively. In order to further boost single models performance, the model parameters of different checkpoints are averaged. Experimental results demonstrate that our proposed system can effectively perform the video classification task, achieving 0.88763 on the public test set and 0.88704 on the private set in terms of GAP@20, respectively. We finally ranked at the fourth place in the YouTube-8M video understanding challenge.

研究动机与目标

• 为YouTube-8M挑战赛开发一种在1GB模型大小限制下的紧凑单模型视频分类系统。
• 通过将非局部操作集成到NetVLAD池化中，提升视频特征表示，实现更好的长程时间建模。
• 通过随机特征子采样下的多次推理和随机权重平均，提升单模型性能。
• 通过bfloat16参数量化和计算图融合，在1GB限制内实现有效模型集成。
• 在不依赖重型模型集成的前提下实现具有竞争力的性能，使系统适用于实际部署。

提出的方法

• 通过在NetVLAD池化后堆叠非局部模块，提出非局部NetVLAD，以捕捉视频特征中的长程依赖关系。
• 在NetVLAD中采用软分配机制，实现可微训练，替代传统VLAD中的硬聚类。
• 使用bfloat16格式将模型大小减半，同时保持精度损失较小，从而在1GB限制内支持更大规模的集成。
• 对多个检查点应用线性模型平均，以提升单个模型的泛化能力和鲁棒性。
• 通过多次前向传播并随机子采样特征，对预测结果取平均，以提升性能。
• 将六个子模型——LFNL-NetVLAD、LFNL-NetRVLAD、EFNL-NetVLAD、Soft-BoF-4k、Soft-BoF-8k和GRU——融合为单一计算图用于推理。

实验结果

研究问题

• RQ1 非局部操作能否提升基于NetVLAD的大规模视频分类特征编码性能？
• RQ2 模型平均与随机子采样下的重复推理在提升单模型性能方面有多有效？
• RQ3 在1GB限制下，bfloat16量化在保持性能的前提下能将模型大小减少多少？
• RQ4 在集成设置中，不同架构（非局部NetVLAD、GRU、Soft-BoF）如何实现互补？
• RQ5 在严格大小限制下，单个紧凑模型能否在YouTube-8M挑战赛中超越基于集成的方法？

主要发现

• 非局部NetVLAD模型在验证集上达到0.8702的GAP@20，略优于原始NetVLAD（0.8698），且在相同设置下表现更优。
• 最终集成模型将六个子模型全部结合，在验证集上达到0.8847的GAP@20，在公开测试集上达到0.88763的GAP@20。
• 与单次推理相比，10次随机运行的重复推理使验证集性能提升0.0005，公开测试集性能也提升0.0005。
• 使用bfloat16将模型大小减半，使在1GB限制内集成更多子模型成为可能，且未超出约束。
• 最终提交模型大小为995MB，低于1GB限制，证明了有效的压缩与优化。
• 该系统在第二届YouTube-8M挑战赛中位列第4名，优于众多基于集成的方法，验证了紧凑单模型设计的有效性。