[论文解读] SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning

Chiranjib Sur|arXiv (Cornell University)|Jun 25, 2020

Multimodal Machine Learning Applications参考文献 38被引用 4

一句话总结

本文提出SACT，一种自感知多空间特征组合Transformer模型，通过引入多项式注意力（MultAtt）来选择性地组合相关视频帧，从而提升传统多头注意力的注意力质量，增强视频字幕生成性能。该模型在ActivityNet和YouCookII数据集上超越了先前方法，通过优化特征组合与对关键内容的感知，实现了最先进（SOTA）性能。

ABSTRACT

Video captioning works on the two fundamental concepts, feature detection and feature composition. While modern day transformers are beneficial in composing features, they lack the fundamental problems of selecting and understanding of the contents. As the feature length increases, it becomes increasingly important to include provisions for improved capturing of the pertinent contents. In this work, we have introduced a new concept of Self-Aware Composition Transformer (SACT) that is capable of generating Multinomial Attention (MultAtt) which is a way of generating distributions of various combinations of frames. Also, multi-head attention transformer works on the principle of combining all possible contents for attention, which is good for natural language classification, but has limitations for video captioning. Video contents have repetitions and require parsing of important contents for better content composition. In this work, we have introduced SACT for more selective attention and combined them for different attention heads for better capturing of the usable contents for any applications. To address the problem of diversification and encourage selective utilization, we propose the Self-Aware Composition Transformer model for dense video captioning and apply the technique on two benchmark datasets like ActivityNet and YouCookII.

研究动机与目标

• 为解决标准多头注意力在视频字幕生成中的局限性，即对所有特征一视同仁，缺乏对关键内容的选择性感知。
• 通过使模型能够识别并优先处理最相关的帧组合，实现自感知特征组合，从而提升视频字幕生成性能。
• 提出一种新型架构，通过建模帧组合的概率分布而非平均聚合所有特征，从而提升注意力质量。
• 在多层Transformer框架中整合帧级别内容相关性的感知，实现更优的字幕生成。
• 通过改进注意力组合与表征学习，在ActivityNet和YouCookII等基准数据集上超越现有方法。

提出的方法

• 提出自感知组合Transformer（SACT），一种多层Transformer架构，在注意力计算前对关键帧特征进行自感知过滤与组合。
• 提出多项式注意力（MultAtt），通过加权和建模有用帧组合的分布：$ f_{M_uA} = W_{M_uA} abla eta_i extbf{I}_i $，其中 $ m << n $，聚焦于高影响力帧。
• 在Transformer堆栈末端应用独立的感知机制，以优化多头注意力输出，增强对帧级别相关性的敏感度。
• 在训练中采用掩码框架，防止过拟合并减少对先前词嵌入的依赖，强调多头注意力在语言生成中的作用。
• 采用端到端训练策略，共30个周期，初始峰值学习率为0.0002，并联合优化事件提议与字幕生成。
• 将该架构应用于两个基准数据集——ActivityNet和YouCookII，使用图像特征与光流特征，总注意力维度为1048。

实验结果

研究问题

• RQ1 如何使视频字幕生成中的注意力机制更具选择性，以提升相关性并减少无关帧带来的噪声？
• RQ2 与标准多头注意力相比，通过多项式分布建模帧组合的重要性是否能提升字幕质量？
• RQ3 在Transformer的最终层引入自感知过滤机制，是否能增强视频字幕生成的特征组合与表征学习？
• RQ4 SACT架构在密集视频字幕基准数据集上，相较于现有模型，在自动指标与语义连贯性方面提升程度如何？
• RQ5 将感知与联合注意力分离，相较于联合注意力策略，是否能带来性能提升？

主要发现

• SACT在ActivityNet Captions数据集上实现了最先进性能，在BLEU-4及其他标准指标上优于先前方法。
• 在YouCookII数据集上，SA s CT变体（分离感知）优于SA j CT变体（联合感知），证明解耦感知机制在注意力建模中的优势。
• 模型的BLEU-4得分高于先前方法，表明生成字幕在句法与词汇层面的对齐性得到改善。
• 使用多项式注意力（MultAtt）使模型能更优地选择关键帧组合，降低噪声并提升注意力质量。
• 自感知机制显著增强了表征学习，尤其在长且复杂的视频序列中，能更聚焦于相关特征。
• 掩码框架有效防止过拟合，并通过减少对自回归词依赖的依赖，提升了泛化能力。