[论文解读] Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition

G M Mashrur E Elahi, Yee‐Hong Yang|arXiv (Cornell University)|Sep 25, 2020

Video Analysis and Summarization参考文献 37被引用 4

一句话总结

本文提出了一种可在线学习的关键帧提取模块（OKFEM），通过使用可学习阈值和基于运动的特征，在实时处理中选择具有区分性的视频帧，显著降低了计算负载。该方法仅使用30%的帧即在视频摘要和动作识别任务中达到最先进性能，结合新型插件模块引入语义词向量后性能进一步提升。

ABSTRACT

Video processing has become a popular research direction in computer vision due to its various applications such as video summarization, action recognition, etc. Recently, deep learning-based methods have achieved impressive results in action recognition. However, these methods need to process a full video sequence to recognize the action, even though most of these frames are similar and non-essential to recognizing a particular action. Additionally, these non-essential frames increase the computational cost and can confuse a method in action recognition. Instead, the important frames called keyframes not only are helpful in the recognition of an action but also can reduce the processing time of each video sequence for classification or in other applications, e.g. summarization. As well, current methods in video processing have not yet been demonstrated in an online fashion. Motivated by the above, we propose an online learnable module for keyframe extraction. This module can be used to select key-shots in video and thus can be applied to video summarization. The extracted keyframes can be used as input to any deep learning-based classification model to recognize action. We also propose a plugin module to use the semantic word vector as input along with keyframes and a novel train/test strategy for the classification models. To our best knowledge, this is the first time such an online module and train/test strategy have been proposed. The experimental results on many commonly used datasets in video summarization and in action recognition have shown impressive results using the proposed module.

研究动机与目标

• 解决全视频深度学习方法在动作识别中计算成本高和冗余性的问题。
• 克服现有关键帧提取方法的局限性，特别是其离线性质以及对人工或复杂帧选择的依赖。
• 开发一种在线端到端可训练模块，仅依赖相邻帧信息按顺序选择关键帧。
• 通过引入语义词向量作为补充输入模态，提升动作识别性能。
• 建立一种新型训练与推理策略（ITTS），以提升基于关键帧识别任务中的模型泛化能力与准确率。

提出的方法

• 提出一种在线关键帧提取模块（OKFEM），按顺序处理视频帧，利用运动特征和可学习阈值（TH）识别关键帧。
• 利用可变形卷积特征捕捉时空动态，并基于局部运动变化指导关键帧选择。
• 引入可学习阈值机制，在训练过程中自适应调整，以基于帧间差异性和运动能量优化关键帧选择。
• 设计一种插件模块，将语义词向量（W2V）与关键帧特征融合，增强动作分类的语义上下文。
• 开发一种新型训练/推理策略（ITTS），支持仅使用关键帧和词向量进行有效微调与推理。
• 采用混合损失函数，结合交叉熵与帧级监督，以提升关键帧选择的准确性。

实验结果

研究问题

• RQ1 是否能够通过在线可学习的关键帧提取方法在保持或提升动作识别准确率的同时降低计算成本？
• RQ2 与全视频处理相比，所提出的OKFEM模块在选择代表性帧方面的有效性如何？
• RQ3 将语义词向量与关键帧结合，能在多大程度上提升动作识别性能？
• RQ4 所提出的ITTS训练策略是否能增强基于关键帧识别的模型泛化能力？
• RQ5 该方法是否在视频摘要与动作识别基准测试中达到最先进性能？

主要发现

• OKFEM将帧使用量减少至原始视频的30%以下，同时保持高识别准确率，显著降低计算成本。
• 在HMDB51数据集上，OKFEM+I3D比原始I3D模型提升3.6%的准确率，证明了基于关键帧表示的有效性。
• 引入W2V插件模块后性能进一步提升，OKFEM+W2V+I3D在HMDB51上达到87.9%的准确率，较基线提升4.1%。
• 在Something-Something-V1和Kinetics-400数据集上，OKFEM+W2V+ResNet152达到最先进结果，优于使用完整视频序列的模型。
• 定性分析表明，所选关键帧与真实重要性评分高度一致，验证了该方法在帧选择上的精确性。
• 在SumMe和TVSum数据集的迁移学习设置下，该方法取得最佳结果，证实其具备强大的泛化能力与摘要能力。