[论文解读] Temporal Tessellation: A Unified Approach for Video Analysis

Dotan Kaufman, Gil Levi+2 more|arXiv (Cornell University)|Dec 21, 2016

Human Pose and Action Recognition参考文献 64被引用 4

一句话总结

本文提出时序镶嵌（Temporal Tessellation），一种统一的视频理解框架，通过基于外观和时序一致性的剪辑匹配，将参考视频的语义迁移至测试视频。该方法在视频字幕生成、视频摘要、动作检测和声音预测等多样化任务中均实现了最先进性能，仅使用单一方法，结合通过动态规划和LSTM实现的监督与无监督时序一致性建模。

ABSTRACT

We present a general approach to video understanding, inspired by semantic transfer techniques that have been successfully used for 2D image analysis. Our method considers a video to be a 1D sequence of clips, each one associated with its own semantics. The nature of these semantics -- natural language captions or other labels -- depends on the task at hand. A test video is processed by forming correspondences between its clips and the clips of reference videos with known semantics, following which, reference semantics can be transferred to the test video. We describe two matching methods, both designed to ensure that (a) reference clips appear similar to test clips and (b), taken together, the semantics of the selected reference clips is consistent and maintains temporal coherence. We use our method for video captioning on the LSMDC'16 benchmark, video summarization on the SumMe and TVSum benchmarks, Temporal Action Detection on the Thumos2014 benchmark, and sound prediction on the Greatest Hits benchmark. Our method not only surpasses the state of the art, in four out of five benchmarks, but importantly, it is the only single method we know of that was successfully applied to such a diverse range of tasks.

研究动机与目标

• 解决以往视频理解任务缺乏统一方法的问题，这些任务传统上需要为每项任务设计专用模型。
• 通过从参考视频迁移每剪辑的语义而非分配单一标签，克服视频中语义模糊的问题。
• 确保迁移语义的时序一致性，避免产生不一致或碎片化的视频理解结果。
• 使单一方法能够泛化至多种视频分析任务，包括字幕生成、摘要、动作检测和声音预测。
• 证明统一框架可在多个基准上超越专用模型的性能，挑战任务专用设计的必要性。

提出的方法

• 将视频表示为一维剪辑序列，每个剪辑关联语义信息（如字幕、重要性分数、动作标签、声音特征）。
• 在学习到的视觉嵌入空间中，通过外观相似性将测试剪辑与参考剪辑匹配（使用VGG-19 + RNN-FV池化）。
• 通过两种策略实现时序一致性：无监督动态规划以确保语义过渡平滑，监督LSTM以预测未来剪辑的语义。
• 构建语义视频空间（SVS），整合视觉特征与语义标签，用于匹配与语义迁移。
• 应用镶嵌技术，选择在局部相似且全局一致的参考剪辑，以最小化语义不连续性。
• 采用混合匹配策略，平衡局部外观相似性与全局语义一致性，以提升语义迁移质量。

实验结果

研究问题

• RQ1 统一框架能否在多样化视频理解任务中，将参考视频的每剪辑语义成功迁移至测试视频？
• RQ2 在剪辑匹配过程中，如何有效强制实现时序一致性，以避免语义分配不一致或碎片化？
• RQ3 无监督动态规划或监督LSTM在多大程度上能提升视频理解任务中的语义一致性？
• RQ4 单一方法能否在无需任务特定调整的情况下，在多个基准上实现最先进性能？
• RQ5 与仅基于外观的匹配相比，引入语义一致性在视频分析任务中能多大程度提升性能？

主要发现

• 所提方法在LSMDC’16视频字幕生成基准上实现最先进性能，超越专用模型。
• 在SumMe和TVSum视频摘要基准上，该方法取得新的最先进结果，展现出在重要性预测任务中的强大泛化能力。
• 在THUMOS’14数据集上的时序动作检测任务中，监督镶嵌方法实现mAP为61.1（IoU=0.5），显著超越此前最先进方法。
• 在Greatest Hits声音预测基准上，监督镶嵌方法在响度预测上实现MSE为0.24，相关系数为0.35，优于仅基于外观的匹配和局部镶嵌方法。
• 无监督镶嵌方法在THUMOS’14上的mAP相比仅基于外观的匹配提升15.4%，证明了时序一致性的价值。
• 该方法是首个已知在四项不同视频理解任务中均实现最先进性能的统一方法，凸显其泛化能力与鲁棒性。