[论文解读] Multimodal Feature Fusion for Video Advertisements Tagging Via Stacking Ensemble

Qingsong Zhou, Hai Liang+2 more|arXiv (Cornell University)|Aug 2, 2021

Video Analysis and Summarization参考文献 34被引用 4

一句话总结

本文提出了一种基于堆叠集成的多模态特征融合框架，用于视频广告标签识别，通过结合视觉、文本和音频特征，提升了准确率与鲁棒性。该方法在2021年腾讯广告算法大赛中取得SOTA性能，全球平均精度（GAP）达到82.63%。

ABSTRACT

Automated tagging of video advertisements has been a critical yet challenging problem, and it has drawn increasing interests in last years as its applications seem to be evident in many fields. Despite sustainable efforts have been made, the tagging task is still suffered from several challenges, such as, efficiently feature fusion approach is desirable, but under-explored in previous studies. In this paper, we present our approach for Multimodal Video Ads Tagging in the 2021 Tencent Advertising Algorithm Competition. Specifically, we propose a novel multi-modal feature fusion framework, with the goal to combine complementary information from multiple modalities. This framework introduces stacking-based ensembling approach to reduce the influence of varying levels of noise and conflicts between different modalities. Thus, our framework can boost the performance of the tagging task, compared to previous methods. To empirically investigate the effectiveness and robustness of the proposed framework, we conduct extensive experiments on the challenge datasets. The obtained results suggest that our framework can significantly outperform related approaches and our method ranks as the 1st place on the final leaderboard, with a Global Average Precision (GAP) of 82.63%. To better promote the research in this field, we will release our code in the final version.

研究动机与目标

• 解决视频广告标签任务中多模态特征存在噪声和冲突的挑战。
• 通过有效融合视觉、文本和音频模态之间的互补信息，提升标签识别性能。
• 设计一种鲁棒的特征融合策略，降低特定模态噪声与不一致性的影响。
• 在2021年ACM多媒体多模态广告视频理解挑战赛中取得顶尖性能。
• 通过广泛的消融实验与对比实验，验证所提框架的有效性与泛化能力。

提出的方法

• 采用堆叠集成方法，融合在单一模态（视觉、文本、音频）上训练的多个基模型的预测结果。
• 使用深度神经网络（DNNs）从各模态提取并分类特征：视觉特征来自卷积神经网络（CNNs），文本特征来自OCR与自动语音识别（ASR），音频特征来自语音识别模型。
• 应用特征级融合策略，包括拼接、求和池化、最大池化和注意力机制，用于消融与对比实验。
• 在堆叠集成中使用元学习器整合基模型的预测结果，学习最优加权策略，降低模态输出冲突带来的噪声影响。
• 在集成模型训练过程中应用Dropout正则化，防止过拟合。
• 以全局平均精度（GAP）为主要评估指标进行模型优化，使用置信度分数对预测结果进行排序。

实验结果

研究问题

• RQ1 堆叠集成框架在多模态特征（视觉、文本、音频）融合方面，能多大程度上提升视频广告标签识别性能？
• RQ2 各模态（视觉、文本、音频）对最终标签准确率与GAP的相对贡献如何？
• RQ3 与传统融合方法（如拼接、注意力、池化）相比，所提出的基于堆叠的融合策略在鲁棒性与性能方面表现如何？
• RQ4 引入额外特征（如TF-IDF、额外嵌入）在多大程度上提升了标签识别结果？
• RQ5 该框架在具有不同噪声水平与模态冲突的多样化视频广告上，是否具备良好的泛化能力？

主要发现

• 所提出的堆叠集成框架在2021年ACM多媒体挑战赛最终排行榜中取得82.63%的全局平均精度（GAP），排名第一。
• 仅使用视觉特征时，其个体GAP达到最高值79.636%，优于文本模态（75.612%）与音频模态（70.701%）。
• 结合视觉、文本、音频特征，并引入TF-IDF与额外嵌入后，性能最佳：准确率达到93.34%，GAP为82.641%。
• 基于堆叠的融合方法优于所有基线融合策略，包括特征拼接（GAP: 80.971%）、求和池化（80.197%）、最大池化（80.511%）和注意力机制（81.295%）。
• 消融实验证实，增加更多模态可持续提升性能，完整特征集（视觉+文本+音频+TF-IDF+额外）取得最高准确率与GAP。
• 预测结果的可视化显示，真正例标签始终排在前9名预测结果内，证实了模型的可靠性与精确性。