[论文解读] ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting

Yeonkyung Lee, Dayun Ju+3 more|arXiv (Cornell University)|Mar 24, 2026

Multimodal Machine Learning Applications被引用 0

一句话总结

ViKey 引入帧索引的序列视觉提示和关键字-帧映射模块，以提升 VideoLLMs 的时序理解，在无需训练、即插即用的情况下对稀疏帧实现更好的推理。

ABSTRACT

Recent advancements in Video Large Language Models (VideoLLMs) have enabled strong performance across diverse multimodal video tasks. To reduce the high computational cost of processing dense video frames, efficiency-oriented methods such as frame selection have been widely adopted. While effective at minimizing redundancy, these methods often cause notable performance drops on tasks requiring temporal reasoning. Unlike humans, who can infer event progression from sparse visual cues, VideoLLMs frequently misinterpret temporal relations when intermediate frames are omitted. To address this limitation, we explore visual prompting (VP) as a lightweight yet effective way to enhance temporal understanding in VideoLLMs. Our analysis reveals that simply annotating each frame with explicit ordinal information helps the model perceive temporal continuity. This visual cue also supports frame-level referencing and mitigates positional ambiguity within a sparsely sampled sequence. Building on these insights, we introduce ViKey, a training-free framework that combines VP with a lightweight Keyword-Frame Mapping (KFM) module. KFM leverages frame indices as dictionary-like keys to link textual cues to the most relevant frames, providing explicit temporal anchors during inference. Despite its simplicity, our approach substantially improves temporal reasoning and, on some datasets, preserves dense-frame baseline performance with as few as 20% of frames.

研究动机与目标

• 在 VideoLLMs 中，当帧采样降低输入密度时，激励并解决时序推理下降的问题。
• 探究可视化提示是否能在不重新训练模型的情况下恢复时序连续性。
• 提出一个轻量级框架，将可视化提示与帧索引字典映射相结合。
• 在多样的时序推理基准和 VideoLLMs 上评估该方法。

提出的方法

• 在每个输入帧中插入顺序帧索引提示（如 frame #01），且不修改模型参数。
• 开发关键字–帧映射（KFM），通过共享嵌入空间将显著查询关键词与最相关的帧建立联系。
• 重写用户查询以包含映射的帧索引，使推理阶段能够进行显式的时序锚定。
• 分析位置嵌入退化、帧级引用和注意力模式，以理解 VP 的影响。
• demonstration 不需要训练、可插拔地在多种 VideoLLMs 与视频任务中应用。

实验结果

研究问题

• RQ1 当时间位置信息退化时，视觉提示是否能恢复帧顺序感知？
• RQ2 帧号提示是否能在 VideoLLMs 中实现字典式帧查找和反向查找？
• RQ3 视觉提示如何影响跨模态注意力与时序定位在 VideoLLMs？
• RQ4 将 VP 与 KFM 相结合是否在稀疏帧输入下无需重新训练就能提升时序推理？

主要发现

• 在降级的位置信息下，视觉提示能持续提升时序理解，在测试设置中获得 2.9–9.9 点的提升。
• VP 实现帧查找和反向查找，随着帧数增加获得显著提升（某些位置达到完全准确）。
• 左下与右下的提示放置在查找与反向查找任务上都表现出更高的准确性，揭示了位置偏好。
• VP 增强模型在各层的对图像标记的注意力，特别是在中后期层，提升时空整合。
• 将 VP 与 KFM 结合可获得最佳结果，在 TempCompass、MVBench、VideoMME、LongVideoBench 等基线上均优于基线，即使只有 20% 的帧也有强劲表现。
• 在某些数据集上，ViKey 使用稀疏帧与密集帧基线相近或超过密集帧，表明对输入减少具鲁棒性。