[论文解读] Unsupervised Semantic Parsing of Video Collections

Ozan Şener, Amir Zamir+2 more|arXiv (Cornell University)|Jun 28, 2015

Video Analysis and Summarization参考文献 48被引用 19

一句话总结

本文提出了一种无监督的联合视觉-语言模型，无需任何人工标注的动作或物体标签，即可将大规模教学类YouTube视频集合解析为语义活动步骤。通过利用视觉和语言原子的贝塔过程混合模型以及马尔可夫语言模型，该方法在步骤发现和描述方面实现了最先进性能，于基准数据集上达到52.36%的IOU和44.09%的mAP。

ABSTRACT

Human communication typically has an underlying structure. This is reflected in the fact that in many user generated videos, a starting point, ending, and certain objective steps between these two can be identified. In this paper, we propose a method for parsing a video into such semantic steps in an unsupervised way. The proposed method is capable of providing a semantic "storyline" of the video composed of its objective steps. We accomplish this using both visual and language cues in a joint generative model. The proposed method can also provide a textual description for each of the identified semantic steps and video segments. We evaluate this method on a large number of complex YouTube videos and show results of unprecedented quality for this intricate and impactful problem.

研究动机与目标

• 在无需任何人工标注的动作或物体标签的情况下，从大规模教学类视频集合中发现结构化的语义活动步骤。
• 建模视觉与语言信号的联合分布，以推断同一类别视频中共享的、连贯的语义故事线。
• 利用语言原子和马尔可夫语言模型，为每个发现的活动步骤生成描述性文本标签。
• 在复杂的真实世界视频集合上评估该方法，并证明其在非教学类视频中的泛化能力。
• 验证视觉与语言模态在提升无监督视频解析准确性与连贯性方面的互补作用。

提出的方法

• 该方法首先从视频帧中的物体提议中提取视觉原子，并从ASR生成的字幕中提取语言原子。
• 采用生成式贝塔过程混合模型，基于视觉与语言原子的共现性，识别同一类别视频中共享的活动步骤。
• 该模型发现一组潜在的活动步骤，可通过子集选择与时间排序生成整个视频集合。
• 在与每个发现的步骤相关的频繁语言原子上训练马尔可夫语言模型，以生成文本描述。
• 该方法为无监督学习，仅需视频属于同一活动类别（例如“如何系领结”）。
• 该方法联合建模视觉与语言模态，以克服单一信号中的噪声与不完整性。

实验结果

研究问题

• RQ1 联合视觉-语言模型是否能在无需任何人工标注的动作或物体标签的情况下，从大规模视频集合中发现语义上合理的活动步骤？
• RQ2 视觉与语言模态如何相互补充，以提升无监督视频解析的准确性和连贯性？
• RQ3 所发现的活动步骤在多大程度上能泛化至非教学类视频，如其他结构化视频类别？
• RQ4 与单模态基线或传统HMM方法相比，联合模型的性能如何？
• RQ5 该方法能否为每个发现的活动步骤生成准确且语义上合理的文本描述？

主要发现

• 所提方法在基准数据集上达到52.36%的IOU和44.09%的mAP，显著优于所有对比方法，包括HMM和KTS基线。
• 该方法优于单模态基线，其中仅语言模态的性能略高于仅视觉模态，凸显了两种模态的互补性。
• 当移除任一模态（视觉或语言）时，性能显著下降，证实了联合建模的必要性。
• 主观评估显示，完整模型的语义mAP达到39.01%，表明发现的步骤与人工标注标签之间具有高质量的语义对齐。
• 该方法成功泛化至非教学类视频类别，如“游览旧金山”，在该类别中能基于语义上合理的地标和活动对视频进行聚类。
• 即使未对物体或动作类别进行显式监督，该模型发现的活动步骤仍与语义概念高度相关。