[论文解读] Video Captioning with Multi-Faceted Attention

Xiang Long, Chuang Gan+1 more|arXiv (Cornell University)|Dec 1, 2016

Multimodal Machine Learning Applications被引用 16

一句话总结

本文提出了一种用于视频字幕生成的多维注意力机制，通过联合利用时间、运动和语义属性（例如主语和动词）来提升字幕质量。通过采用多个独立的注意力分支和多模态融合层，该模型在MSVD和MSR-VTT数据集上的表现优于先前方法，实现了接近人类水平的性能，且在语义属性质量较高的情况下表现稳健——即使在属性输入存在噪声时也表现出较强的鲁棒性。

ABSTRACT

Recently, video captioning has been attracting an increasing amount of interest, due to its potential for improving accessibility and information retrieval. While existing methods rely on different kinds of visual features and model structures, they do not fully exploit relevant semantic information. We present an extensible approach to jointly leverage several sorts of visual features and semantic attributes. Our novel architecture builds on LSTMs for sentence generation, with several attention layers and two multimodal layers. The attention mechanism learns to automatically select the most salient visual features or semantic attributes, and the multimodal layer yields overall representations for the input and outputs of the sentence generation component. Experimental results on the challenging MSVD and MSR-VTT datasets show that our framework outperforms the state-of-the-art approaches, while ground truth based semantic attributes are able to further elevate the output quality to a near-human level.

研究动机与目标

• 解决现有视频字幕模型仅依赖视觉特征、未能充分利用互补语义信息的局限性。
• 通过在统一的注意力框架中整合时间特征、运动特征和语义属性（例如主语、动词）等异构输入，提升字幕质量。
• 设计一种灵活可扩展的架构，为每种输入模态提供独立的注意力机制，实现在视频分析和句子生成过程中的动态关注。
• 评估属性质量对性能的影响，区分由真实字幕提取的高质量语义属性与低质量语义属性。
• 证明模型对噪声语义属性的鲁棒性，表明即使在存在显著噪声的情况下，性能仍优于仅使用视觉信息的基线模型。

提出的方法

• 该模型采用双分支注意力机制：一个用于视觉特征（时间与运动），另一个用于语义属性（例如主语、动词），每个分支均配备独立的注意力模块。
• 每个注意力分支通过计算输入特征（帧或属性）上的上下文感知权重，实现在句子生成过程中对相关部分的动态聚焦。
• 多模态融合层将注意力分支的输出与LSTM解码器隐藏状态相结合，实现视觉与语义信号的联合建模。
• 该架构支持增量扩展，可通过增加新的注意力分支以支持额外输入类型（例如标签、标题、音频），从而提升模块化与可扩展性。
• 高质量语义属性通过从真实字幕中提取主语-动词对获得，而低质量属性则通过近邻网络（NN）、支持向量机（SVM）和HRNE方法生成。
• 模型采用端到端训练，使用交叉熵损失和束搜索解码，评估使用标准指标（BLEU、METEOR、CIDEr）。

实验结果

研究问题

• RQ1 联合关注多种异构输入（时间、运动和语义属性）是否能超越仅使用视觉特征的性能，从而提升视频字幕生成效果？
• RQ2 语义属性质量（如真实标注 vs. 预测结果）对最终字幕性能和模型鲁棒性有何影响？
• RQ3 当语义属性存在噪声或部分错误时，模型在多大程度上仍能保持性能？
• RQ4 在语义质量方面，引入主语和动词等语义属性是否能使生成的字幕更接近人类生成的描述？
• RQ5 所提出的多维注意力机制在不进行架构重构的前提下，能否扩展以支持额外模态（如音频、元数据）？

主要发现

• 所提模型在MSVD和MSR-VTT两个数据集上均优于最先进方法，在BLEU、METEOR和CIDEr指标上均达到SOTA水平。
• 仅使用视觉特征（时间与运动）时，模型已表现出强劲性能，证实其注意力机制即使在无语义属性的情况下也具有有效性。
• 在使用高质量语义属性（主语与动词）时，模型在MSVD上的CIDEr得分为116.5，在MSR-VTT上为104.8，已接近人类水平表现（MSVD上CIDEr≈117.5）。
• 即使在50%语义属性存在噪声的情况下，模型性能仍优于仅使用视觉注意力的基线模型，展现出对噪声元数据的强韧性。
• 动词属性对字幕质量的贡献略高于主语，表明动作识别仍是视频字幕生成中的关键挑战。
• 仅使用一个高质量语义属性（如仅动词）时，模型性能已相当出色，表明语义线索可显著降低字幕生成过程中的歧义。