[论文解读] Vista-LLaMA: Reducing Hallucination in Video Language Models via Equal Distance to Visual Tokens

Fan Ma, Xiaojie Jin+4 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

Vista-LLaMA 提出了一种新颖的视频-语言模型，通过在注意力计算过程中保持所有视觉标记与语言标记之间的等距关系，减少了幻觉现象，确保在不同文本长度下视觉影响保持一致。该模型引入了一种等距视觉标记注意力（EDVT）机制和一种用于改进时间建模的序列视觉投影器，在 NExT-QA 上实现了 60.7 的零样本准确率，在 MSRVTT-QA 上实现了 60.5 的准确率，达到当前最先进水平。

ABSTRACT

Recent advances in large video-language models have displayed promising outcomes in video comprehension. Current approaches straightforwardly convert video into language tokens and employ large language models for multi-modal tasks. However, this method often leads to the generation of irrelevant content, commonly known as "hallucination", as the length of the text increases and the impact of the video diminishes. To address this problem, we propose Vista-LLaMA, a novel framework that maintains the consistent distance between all visual tokens and any language tokens, irrespective of the generated text length. Vista-LLaMA omits relative position encoding when determining attention weights between visual and text tokens, retaining the position encoding for text and text tokens. This amplifies the effect of visual tokens on text generation, especially when the relative distance is longer between visual and text tokens. The proposed attention mechanism significantly reduces the chance of producing irrelevant text related to the video content. Furthermore, we present a sequential visual projector that projects the current video frame into tokens of language space with the assistance of the previous frame. This approach not only captures the temporal relationship within the video, but also allows less visual tokens to encompass the entire video. Our approach significantly outperforms various previous methods (e.g., Video-ChatGPT, MovieChat) on four challenging open-ended video question answering benchmarks. We reach an accuracy of 60.7 on the zero-shot NExT-QA and 60.5 on the zero-shot MSRVTT-QA, setting a new state-of-the-art performance. This project is available at https://jinxxian.github.io/Vista-LLaMA.

研究动机与目标

• 解决视频-语言模型中的幻觉问题，即随着文本长度增加，生成的文本与视频内容逐渐脱节。
• 通过确保视觉标记与语言标记之间注意力距离的一致性，缓解长上下文视频-语言模型中视觉影响减弱的问题。
• 通过基于帧间关系建模的序列视觉投影器，改进视频理解中的时间建模。
• 在无需微调的情况下，实现在零样本开放型视频问答基准上的最先进性能。

提出的方法

• 引入一种等距视觉标记注意力（EDVT）机制，在计算视觉标记与语言标记之间的注意力时省略旋转位置编码，以保持有效距离的一致性。
• 仅在语言标记之间的注意力中保留旋转位置编码，以保持文本序列内部的相对标记顺序和上下文信息。
• 设计一种序列视觉投影器，通过基于前一帧投影表示生成每帧的视觉标记，实现在不增加额外参数的情况下进行时间建模。
• 使用可学习的视觉投影器将视频帧映射到语言空间，初始值来自 BLIP-2 等预训练模型，以提升视觉表征学习能力。
• 采用单流 Transformer 架构，使视觉标记与语言标记共存于同一序列中，EDVT 注意力机制确保视觉标记始终一致地影响生成结果。
• 以固定间隔采样视频帧，并将其投影为视觉标记，减少表示长视频所需的视觉标记数量，同时保留时间动态特性。

Figure 1 : Video language processing with LLaMA [ 24 ] and our Vista-LLaMA . The vanilla LLaMA treats visual tokens ( ) the same as other language tokens ( ), weakening the impact for tokens in long distance. Our model retains the same mechanism for language tokens and strengthens the impact of the

实验结果

研究问题

• RQ1 在长上下文视频-语言生成中，通过保持视觉标记与所有语言标记之间的等距注意力关系，能否有效减少幻觉？
• RQ2 在视觉标记与语言标记之间缺少相对位置编码的情况下，模型在长序列中关注视觉内容的能力是否会受到影响？
• RQ3 与独立帧投影相比，序列视觉投影器在多大程度上提升了视频-语言模型中的时间推理能力？
• RQ4 所提出的 EDVT 注意力机制与序列投影器设计，能否在零样本视频问答基准上实现最先进性能？
• RQ5 该模型的性能是否在不同类型视频问题上具有泛化能力，特别是时间性、描述性和因果推理类任务？

主要发现

• Vista-LLaMA 在 NExT-QA 基准上实现了 60.7 的新零样本最先进准确率，显著优于 Video-ChatGPT 和 MovieChat 等先前方法。
• 在 MSRVTT-QA 基准上，Vista-LLaMA 达到 60.5 的零样本准确率，表明其在开放型视频问答任务中具有强大的泛化能力。
• 序列视觉投影器（SeqQ-Former）优于线性与标准 Q-Former 投影器，尤其在时间推理类问题上表现更优，表明其对视频动态建模能力有所提升。
• 该模型有效减少了文本生成中的幻觉现象：在定性比较中，其能正确识别物体位置与动作（如手机方向、人物姿态），而 Video-ChatGPT 则出现错误。
• 增加视觉标记数量可提升整体准确率，但会损害时间类问题的性能，表明当前模型即使在输入更多视觉信息时，仍难以有效处理时间推理。
• EDVT 注意力机制能有效维持视觉标记对文本生成的影响，即使对远距离标记也保持稳定，从而降低生成无关或幻觉内容的风险。

Figure 2 : The framework of Vista-LLaMA . The visual encoder and large language model are both frozen ( ) during training, while the projector is trainable ( ) to map video into the language’s space. The attention operation in each layer is present on the right part. Only the text tokens are applied