[论文解读] Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition

Hao Fei, Shengqiong Wu+5 more|arXiv (Cornell University)|May 7, 2024

Aesthetic Perception and AnalysisNeuroscience被引用 3

一句话总结

本文提出了視頻思維（VoT），一種新型推理框架，通過將複雜視頻任務分解為逐步的感知與認知子問題，實現人類級別的視頻理解。基於 MotionEpic——一種具有細粒度時空場景圖（STSG）定位能力的視頻多模態大語言模型（MLLM）——VoT 通過以思維鏈方式整合像素級感知、軌跡追蹤與常識推理，在複雜視頻問題回答基準上達到最尖端的性能表現。

ABSTRACT

Existing research of video understanding still struggles to achieve in-depth comprehension and reasoning in complex videos, primarily due to the under-exploration of two key bottlenecks: fine-grained spatial-temporal perceptive understanding and cognitive-level video scene comprehension. This paper bridges the gap by presenting a novel solution. We first introduce a novel video Multimodal Large Language Model (MLLM), MotionEpic, which achieves fine-grained pixel-level spatial-temporal video grounding by integrating video spatial-temporal scene graph (STSG) representation. Building upon MotionEpic, we then develop a Video-of-Thought (VoT) reasoning framework. VoT inherits the Chain-of-Thought (CoT) core, breaking down a complex task into simpler and manageable sub-problems, and addressing them step-by-step from a low-level pixel perception to high-level cognitive interpretation. Extensive experiments across various complex video QA benchmarks demonstrate that our overall framework strikingly boosts existing state-of-the-art. To our knowledge, this is the first attempt at successfully implementing the CoT technique for achieving human-level video reasoning, where we show great potential in extending it to a wider range of video understanding scenarios. Project is open at https://haofei.vip/VoT

研究动机与目标

• 為解決深度視頻理解中的差距，特別是針對需要細粒度時空感知與認知層次語義的複雜視頻。
• 克服現有視頻 MLLM 側重於淺層感知理解且缺乏結構化推理的限制。
• 開創性地將思維鏈（CoT）提示技術與視頻輸入結合，實現從像素級定位到高階認知解讀的多跳推理。
• 開發一種視頻 MLLM——MotionEpic，使其能將視頻內容定位至 STSG 表示，並支援 STSG-aware 與 STSG-free 推理。
• 證明結構化、逐步推理顯著提升複雜視頻問題回答中的準確性與魯棒性。

提出的方法

• 提出 MotionEpic，一種視頻 MLLM，能聯合編碼視頻畫面與時空場景圖（STSG），實現細粒度的像素級定位。
• 引入基於 STSG 標註的定位感知微調階段，以對齊視頻輸入與結構化場景表達。
• 採用兩階段訓練策略：首先，透過監督學習將視頻定位至 STSG；其次，微調模型以實現無 STSG 輸入下的自主 STSG 解析與推理。
• 設計視頻思維（VoT）框架作為 CoT 式推理引擎，將視頻問題回答分解為連續步驟：目標定位、軌跡追蹤、互動分析與答案排序。
• 利用事實性常識知識來解讀動作與互動，確保推理過程具認知一致性與可解釋性。
• 使用損失項 𝒫₂ 和 𝒫₄ 明確優化 STSG 定位與生成，這兩項對下游推理性能至關重要。

Figure 1: Human-like video reasoning intuitively follows a multi-step procedure, from lower-level perceptive fine-grained pixel grounding and tracking, to higher-level cognitive action scene semantics understanding.

实验结果

研究问题

• RQ1 具備細粒度 STSG 定位能力的視頻 MLLM 是否能顯著提升複雜視頻理解中的感知準確率？
• RQ2 當適配至多模態輸入的視頻推理時，思維鏈（CoT）範式有多麼有效？
• RQ3 整合常識知識在視覺感知之外，能在多大程度上提升對視頻內容的推理能力？
• RQ4 結構化場景表達（STSG）在減少幻覺現象與提升推理魯棒性方面發揮何種作用？
• RQ5 統一框架是否能同時支援 STSG-aware 與 STSG-free 推理，並維持高性能量？

主要发现

• 具備 VoT 框架的 MotionEpic 在複雜視頻問題回答基準上達到最尖端性能，超越包括採用 CoT 的 Video-LLaVA 在內的現有模型。
• 消融實驗顯示，當移除與 STSG 定位和生成相關的損失項 𝒫₂ 和 𝒫₄ 時，性能下降最為顯著，證實其關鍵作用。
• 在 200 個難例的人工評估中，MotionEpic 搭配 VoT 的表現與人類級推理相當，特別是在動作語義與常識理解方面。
• 定性案例研究顯示，VoT 能正確識別複雜場景（如教練訓練狗），透過精確定位與事實推理結合，而基線模型則失敗。
• 與基線 CoT 方法相比，VoT 框架顯著降低錯誤率，特別是在因果動態與社會互動推理方面。
• 由於採用結構化、逐步推理流程，系統即使在未見過的視頻推理任務上，仍保持強大的零樣本泛化能力。

Figure 2: Overview of the MotionEpic video MLLM.