[论文解读] The Monkeytyping Solution to the YouTube-8M Video Understanding Challenge

He-Da Wang, Teng Zhang+1 more|arXiv (Cornell University)|Jun 16, 2017

Human Pose and Action Recognition参考文献 14被引用 21

一句话总结

本文介绍了 team monkeytyping 在 YouTube-8M 视频理解挑战赛中的第二名解决方案，提出了一种包含 74 个模型的多阶段集成系统。关键创新包括用于建模标签相关性的 Chaining 网络、基于注意力加权的集成学习方法，以及利用集成预测结果作为软目标的知识蒸馏技术，最终在私有排行榜上取得了 0.8458 的 GAP 得分。

ABSTRACT

This article describes the final solution of team monkeytyping, who finished in second place in the YouTube-8M video understanding challenge. The dataset used in this challenge is a large-scale benchmark for multi-label video classification. We extend the work in [1] and propose several improvements for frame sequence modeling. We propose a network structure called Chaining that can better capture the interactions between labels. Also, we report our approaches in dealing with multi-scale information and attention pooling. In addition, We find that using the output of model ensemble as a side target in training can boost single model performance. We report our experiments in bagging, boosting, cascade, and stacking, and propose a stacking algorithm called attention weighted stacking. Our final submission is an ensemble that consists of 74 sub models, all of which are listed in the appendix.

研究动机与目标

• 解决 YouTube-8M 数据集中 4,716 个标签的大规模多标签视频分类挑战。
• 通过建模帧间的时间动态性和多尺度特征，提升视频表征学习能力。
• 通过先进的集成技术，特别是基于注意力机制的模型加权堆叠方法，提升性能。
• 通过从集成预测中蒸馏知识，提升单模型性能。
• 为现实世界应用中的视频理解开发一种可扩展且高效的系统架构。

提出的方法

• 提出 Chaining 网络架构，通过学习多个输出标签之间的依赖关系，建模标签交互。
• 引入注意力加权堆叠方法，利用注意力机制根据输入和预测统计信息动态加权各个模型。
• 采用注意力池化机制，在序列建模过程中聚焦显著视频片段，提升时间表征能力。
• 利用多尺度 CNN-LSTM 融合方法，捕捉视频帧中的局部与长程时间特征。
• 通过知识蒸馏方法，使用结合真实标签与集成预测软目标的加权损失函数来训练单个模型。
• 设计五部分数据划分策略（train1、validate1、train2、validate2、test），将单模型训练与集成训练解耦，并支持早停。

实验结果

研究问题

• RQ1 如何有效建模多标签视频分类中的标签相关性，以提升预测性能？
• RQ2 在 YouTube-8M 基准上，哪种集成策略——袋装、提升、级联或堆叠——能取得最高性能？
• RQ3 在堆叠中使用基于注意力的模型加权是否优于传统的平均法或线性加权方法？
• RQ4 从集成预测中进行知识蒸馏能在多大程度上提升单个模型的性能？
• RQ5 整合多尺度时间建模与注意力池化在多大程度上能增强视频序列表征？

主要发现

• 注意力加权堆叠方法在盲测集上取得了最高的 GAP 得分 0.8458，优于简单平均法（0.8436）和线性加权平均法（0.8449）。
• 知识蒸馏显著提升了单模型性能，Chaining LSTM 模型在使用集成软目标进行训练后，GAP 从 0.8172 提升至 0.8291。
• 最终由 74 个模型组成的集成系统，结合袋装、提升、级联和注意力加权堆叠方法，使 GAP 从 0.8425 提升至 0.8458。
• 在训练过程中使用模型预测作为软目标比袋装方法更有效，且在多种模型架构上均表现出一致的性能提升。
• Chaining 网络结构有效捕捉了标签依赖关系，显著提升了多标签分类性能。
• 所提出的数据划分策略有效支持了训练与早停，但作者指出，由于训练数据减少，可能对单模型性能造成一定限制。