[论文解读] Semantically Sensible Video Captioning (SSVC)

Md. Mushfiqur Rahman, Thasin Abedin+3 more|arXiv (Cornell University)|Sep 15, 2020

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出SSVC，一种新颖的视频字幕生成架构，通过在上下文生成阶段引入堆叠注意力机制与空间硬挖掘机制，提升了语义准确性。在BLEU和一种新型语义合理性（SS）指标的评估下，SSVC在定量与定性性能上均优于当前最先进模型。

ABSTRACT

Video captioning, i.e. the task of generating captions from video sequences creates a bridge between the Natural Language Processing and Computer Vision domains of computer science. Generating a semantically accurate description of a video is an arduous task. Considering the complexity of the problem, the results obtained in recent researches are quite outstanding. But still there is plenty of scope for improvement. This paper addresses this scope and proposes a novel solution. Most video captioning models comprise of two sequential/recurrent layers - one as a video-to-context encoder and the other as a context-to-caption decoder. This paper proposes a novel architecture, SSVC (Semantically Sensible Video Captioning) which modifies the context generation mechanism by using two novel approaches - stacked attention and spatial hard pull. For evaluating the proposed architecture, along with the BLEU scoring metric for quantitative analysis, we have used a human evaluation metric for qualitative analysis. This paper refers to this proposed human evaluation metric as the Semantic Sensibility (SS) scoring metric. SS score overcomes the shortcomings of common automated scoring metrics. This paper reports that the use of the aforementioned novelties improves the performance of the state-of-the-art architectures.

研究动机与目标

• 为解决现有视频字幕模型在生成语义合理描述方面的局限性。
• 通过重新思考视频到上下文的编码过程，改进视频字幕中的上下文表征。
• 通过引入基于人工的语义合理性（SS）评分指标，克服BLEU等自动化指标的不足。
• 通过在上下文生成机制中引入新颖的架构改进，提升最先进架构的性能。

提出的方法

• 提出一种新架构SSVC，用改进的上下文生成机制替代标准的序列/循环层。
• 引入堆叠注意力机制，以更好地捕捉视频特征中的长距离依赖与语义关系。
• 采用空间硬挖掘机制，通过强调视频帧中的显著空间区域来优化注意力图。
• 采用双阶段流程：首先利用堆叠注意力与空间硬挖掘将视频特征编码为上下文表征，然后解码为自然语言字幕。
• 采用基于人工的评估指标——语义合理性（SS）——以评估生成字幕的语义连贯性与事实准确性。
• 通过BLEU分数与定性SS分数双重验证性能，确保评估的稳健性。

实验结果

研究问题

• RQ1 如何改进视频字幕模型，使其生成的描述在流畅性与语法之外更具语义合理性？
• RQ2 堆叠注意力与空间硬挖掘在多大程度上增强了视频字幕中的上下文表征能力？
• RQ3 基于人工的语义合理性（SS）指标是否能更有效地捕捉语义准确性，优于BLEU等自动化指标？
• RQ4 所提出的SSVC架构在定量与定性性能上与最先进模型相比表现如何？
• RQ5 在上下文生成阶段的架构改进对整体字幕质量有何影响？

主要发现

• 所提出的SSVC架构在BLEU分数与定性评估中均优于当前最先进模型。
• 语义合理性（SS）指标成功捕捉了语义准确性和连贯性，在评估字幕质量方面优于自动化指标。
• 堆叠注意力机制显著提升了模型对视频序列中复杂时间依赖与语义依赖的建模能力。
• 空间硬挖掘机制改善了注意力定位，实现了更准确且与上下文相关的特征选择。
• 堆叠注意力与空间硬挖掘的结合，经人工评估证实，生成了更具语义合理性的字幕。
• 结果表明，上下文生成阶段的架构创新显著提升了字幕质量，超越了标准循环模型。