[论文解读] Multi-view Metric Learning for Multi-view Video Summarization

Yanwei Fu, Lingbo Wang+1 more|arXiv (Cornell University)|May 25, 2014

Video Analysis and Summarization参考文献 19被引用 6

一句话总结

本文提出了一种新颖的多视角度量学习框架，用于视频摘要，通过结合最大间隔聚类与分歧最小化，学习一个统一的度量空间，以保留多个摄像机视角下数据的内在结构。该方法在客观指标和用户研究中均优于基线方法，在Office1数据集上实现了100%的精确率和76.9%的召回率。

ABSTRACT

Traditional methods on video summarization are designed to generate summaries for single-view video records; and thus they cannot fully exploit the redundancy in multi-view video records. In this paper, we present a multi-view metric learning framework for multi-view video summarization that combines the advantages of maximum margin clustering with the disagreement minimization criterion. The learning framework thus has the ability to find a metric that best separates the data, and meanwhile to force the learned metric to maintain original intrinsic information between data points, for example geometric information. Facilitated by such a framework, a systematic solution to the multi-view video summarization problem is developed. To the best of our knowledge, it is the first time to address multi-view video summarization from the viewpoint of metric learning. The effectiveness of the proposed method is demonstrated by experiments.

研究动机与目标

• 为解决单视角视频摘要方法在处理冗余、多视角视频数据时的局限性。
• 开发一种统一的度量学习框架，以保留多个摄像机视角下数据的内在几何与结构信息。
• 通过联合优化聚类可分性与与原始视角特定度量的一致性，提升视频摘要性能。
• 提供首个系统性解决方案，利用度量学习实现多视角视频摘要。

提出的方法

• 通过最小化结合经验损失、结构损失与分歧损失的复合目标函数，学习一个统一的度量空间。
• 整合最大间隔聚类（MMC）以最大化类间间隔，并通过分歧最小化来保留与原始视角度量的相似性。
• 通过交替优化方式求解：利用学习到的拉普拉斯矩阵的特征分解求解聚类分配，通过二次规划更新度量权重。
• 将多视角视频特征投影到共享的低维空间，在该空间中通过聚类识别代表性事件。
• 通过在所有视角中为每个聚类选择最具代表性的帧来执行关键帧选择。
• 该算法通过首先提取帧级特征，然后学习联合度量，最后基于聚类中心进行聚类与摘要，应用于多视角视频。

实验结果

研究问题

• RQ1 能否从多个重叠的视频视角中学习到一个统一的度量空间，以提升视频摘要性能？
• RQ2 如何在度量学习中平衡聚类可分性与原始视角特定几何结构的保留？
• RQ3 将最大间隔聚类与分歧最小化相结合，是否能带来优于现有方法的视频摘要效果？
• RQ4 所提出的框架是否能在客观评估与用户偏好上均优于基线方法？

主要发现

• 所提方法在Office1数据集上实现了100%的精确率与76.9%的召回率，显著优于基线方法。
• 在用户研究中，该方法在Road数据集上获得0.80的归一化满意度评分，在Office1数据集上获得0.76，均超过所有基线方法。
• 该方法优于均匀与随机摘要（得分0.4/0.3与0.35/0.35）以及欧氏距离/扩散度量方法（得分0.68/0.78与0.72/0.75）。
• 优化过程收敛高效，由于视角数量较少（m ≈ O(1)），二次规划步骤可通过Mosek求解。
• 通过最小化学习到的度量与原始视角度量之间的分歧，该框架成功保留了数据的内在结构。
• 该方法是首个通过度量学习系统性解决多视角视频摘要的方法，展现出客观与主观性能的双重优越性。