[论文解读] Video Representation Learning and Latent Concept Mining for Large-scale Multi-label Video Classification

Po-Yao Huang, Ye Yuan+3 more|arXiv (Cornell University)|Jul 5, 2017

Multimodal Machine Learning Applications参考文献 22被引用 3

一句话总结

本论文提出了一种用于YouTube-8M数据集上大规模多标签视频分类的混合深度学习框架，结合了通过残差网络和多尺度特征融合网络进行精细化的视频表征学习、通过潜在概念挖掘建模标签依赖关系，以及采用时间片段增强的视频级与帧级模型加权集成。该方法在验证集上达到84.68%的GAP，在官方测试集上达到84.66%，通过有效捕捉复杂的标签关系并利用互补的模型类型，优于先前方法。

ABSTRACT

We report on CMU Informedia Lab's system used in Google's YouTube 8 Million Video Understanding Challenge. In this multi-label video classification task, our pipeline achieved 84.675% and 84.662% GAP on our evaluation split and the official test set. We attribute the good performance to three components: 1) Refined video representation learning with residual links and hypercolumns 2) Latent concept mining which captures interactions among concepts. 3) Learning with temporal segments and weighted multi-model ensemble. We conduct experiments to validate and analyze the contribution of our models. We also share some unsuccessful trials leveraging conventional approaches such as recurrent neural networks for video representation learning for this large-scale video dataset. All the codes to reproduce our results are publicly available at https://github.com/Martini09/informedia-yt8m-release.

研究动机与目标

• 通过解决视频表征学习的局限性、标签独立性假设以及模型集成策略问题，提升大规模多标签视频分类性能。
• 通过残差连接和多尺度特征融合提升视频表征，使性能超越平均池化特征。
• 通过新颖的潜在概念学习层建模复杂标签关系（如共现、互斥），突破独立标签假设的限制。
• 设计系统化的集成策略，结合时间片段增强和留一法加权，有效融合异构的视频级与帧级模型。
• 验证注意力池化在帧级建模中优于RNN，并证明互补模型类型在集成中的重要性。

提出的方法

• 提出混合残差专家（MoRE）和混合多尺度特征融合专家（MoHCE）模型，利用残差连接和多尺度特征融合，对视频级与帧级表征进行优化。
• 引入延迟启动层进行潜在概念学习，捕捉概念之间的潜在关系，提升多标签分类性能，超越独立标签预测。
• 通过将视频分割为时间片段并分段训练，实施时间片段数据增强，提升视频级模型的鲁棒性与泛化能力。
• 采用留一法集成策略，为64个异构模型（42个视频级，22个帧级）确定最优融合权重，避免过拟合并提升泛化性能。
• 在帧级建模中使用注意力池化，其在YouTube-8M数据集上的表现优于LSTM和Bi-LSTM等循环网络。
• 在集成中结合视频级模型（平均池化特征）与帧级模型，利用其互补优势：对噪声的鲁棒性与对关键片段的定位能力。

实验结果

研究问题

• RQ1 通过残差连接和多尺度特征融合进行精细化视频表征学习，是否能在大规模多标签视频分类任务中超越平均池化特征，提升性能？
• RQ2 通过学习能建模标签依赖关系（如共现、互斥）的潜在概念，是否能提升多标签分类性能，优于独立标签假设？
• RQ3 时间片段数据增强是否能提升大规模视频打标任务中视频级模型的泛化能力？
• RQ4 对异构模型（视频级 vs 帧级）进行加权集成，是否优于单个模型或同质集成？
• RQ5 为何某些高性能单个模型在集成中贡献较小？如何系统性地利用模型互补性？

主要发现

• 所提出的MoRE和MoHCE模型显著优于基线模型，其中MoHCE模型在帧级特征上达到82.47%的GAP。
• 通过延迟启动层进行潜在概念学习，通过捕捉潜在标签关系提升多标签分类性能，优于独立标签预测。
• 注意力池化在帧级特征上始终优于基于RNN的模型（如Bi-LSTM、带zoneout的LSTM），最佳帧级模型（NetVLAD + LC, k=1）达到82.47%的GAP。
• 最终34个模型的集成（18个视频级，16个帧级）在验证集上达到84.68%的GAP，在官方测试集上达到84.66%，展现出最先进性能。
• 留一法分析显示，视频级模型贡献了54%的集成权重，表明其具有强大且稳定的作用；而帧级模型尽管计算成本更高，仍提供了关键互补性。
• 表现最佳的单个模型在集成中并非贡献最大的，表明模型多样性与互补性比个体性能更为重要，尤其在处理困难样本时。