[论文解读] Refined Semantic Enhancement towards Frequency Diffusion for Video Captioning

Xian Zhong, Zipeng Li+4 more|arXiv (Cornell University)|Nov 28, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种面向频域扩散的精细化语义增强（RSFD）视频字幕模型，通过频域感知扩散（FAD）模块和分歧语义监管器（DSS），提升低频语义关键词的生成能力。FAD 通过频域感知的扩散机制增强对低频词的理解，而 DSS 则补偿扩散过程中损失的高频词语义，使模型在 MSR-VTT 上取得 +2.0 的 CIDEr 提升，在 MSVD 上取得 +5.3 的 CIDEr 提升，达到当前最优性能。

ABSTRACT

Video captioning aims to generate natural language sentences that describe the given video accurately. Existing methods obtain favorable generation by exploring richer visual representations in encode phase or improving the decoding ability. However, the long-tailed problem hinders these attempts at low-frequency tokens, which rarely occur but carry critical semantics, playing a vital role in the detailed generation. In this paper, we introduce a novel Refined Semantic enhancement method towards Frequency Diffusion (RSFD), a captioning model that constantly perceives the linguistic representation of the infrequent tokens. Concretely, a Frequency-Aware Diffusion (FAD) module is proposed to comprehend the semantics of low-frequency tokens to break through generation limitations. In this way, the caption is refined by promoting the absorption of tokens with insufficient occurrence. Based on FAD, we design a Divergent Semantic Supervisor (DSS) module to compensate for the information loss of high-frequency tokens brought by the diffusion process, where the semantics of low-frequency tokens is further emphasized to alleviate the long-tailed problem. Extensive experiments indicate that RSFD outperforms the state-of-the-art methods on two benchmark datasets, i.e., MSR-VTT and MSVD, demonstrate that the enhancement of low-frequency tokens semantics can obtain a competitive generation effect. Code is available at https://github.com/lzp870/RSFD.

研究动机与目标

• 解决视频字幕任务中低频词（尽管语义关键）在训练中代表性不足的长尾问题。
• 克服现有模型倾向于高频词的局限，避免测试生成时描述贫乏。
• 通过增强模型对罕见但有意义词汇的感知与生成能力，提升语义丰富度，且不依赖外部知识。
• 缓解基于扩散的语义传播过程中对高频词的信息损失，确保各类词频下的学习平衡。

提出的方法

• 根据语料库和视频级别的词频统计，将词分为高频、低频和未标记三类。
• 引入频域感知扩散（FAD），通过尊重词频的扩散过程，将高频词的语义传播至低频词。
• 通过将真实字幕映射至语义空间，并利用扩散机制融合低频词与高频词，实现 FAD 的应用。
• 设计分歧语义监管器（DSS），利用相邻词作为多个教师模型，对中心词进行监督，实现频率特定的语义补偿。
• 在 DSS 中采用注意力机制监督，分别细化高频与低频词，且针对不同频率类别采用差异化的监督策略。
• 将 FAD 与 DSS 整合进基于 Transformer 的编码器-解码器框架，实现端到端训练与推理，无需外部模块。

实验结果

研究问题

• RQ1 频域感知扩散能否提升模型学习与生成视频字幕中低频词的能力？
• RQ2 使用多个上下文感知教师模型监督高频词，能否减少扩散过程导致的信息损失？
• RQ3 FAD 与 DSS 的联合使用能否缓解视频字幕中的长尾问题，同时保持高频词的质量？
• RQ4 聚焦低频词语义表征在多大程度上能提升基准数据集上的整体字幕生成性能？
• RQ5 在生成细节丰富、语义丰富的字幕方面，所提方法相较于当前最先进模型表现如何？

主要发现

• 在 MSR-VTT 上，RSFD 达到 43.4 的 CIDEr 分数，相比基线 AR-B 提升 2.0 分，显著提升字幕质量。
• 在 MSVD 上，RSFD 达到 51.2 的 CIDEr 分数，相比 AR-B 基线提升 5.3 分，表明其在多样化视频内容上具有强大泛化能力。
• 仅使用 FAD 模块，MSR-VTT 上 CIDEr 提升 1.8 分，MSVD 上提升 1.7 分，证明其在增强低频词学习方面的有效性。
• DSS 模块有效补偿了扩散过程导致的高频词语义退化，使高频词如 'swims' 的生成概率从 0.579 提升至 0.656。
• 定性结果表明，RSFD 生成的字幕更详细、更准确，例如能正确预测基线模型遗漏的罕见词如 'ocean' 和 'airplane'。
• 消融实验验证，FAD 与 DSS 联合使用性能最佳，二者在语义精炼与频率平衡方面均发挥独特且互补的作用。