[论文解读] Visual Recognition by Counting Instances: A Multi-Instance Cardinality Potential Kernel

Hossein Hajimirsadeghi, Yan Wang+2 more|arXiv (Cornell University)|Feb 6, 2015

Human Pose and Action Recognition参考文献 30被引用 11

一句话总结

本文提出了一种基于核函数的多实例学习框架，通过实例计数建模视觉识别，利用概率潜在结构模型编码硬性或软性基数约束（例如“多数”或“越多越好”）。该方法在集体活动识别、视频事件检测（TRECVID MED11）和视频摘要（SumMe）任务中均达到最先进性能，mAP提升从5.0%至6.1%，尽管仅使用通用特征，仍取得具有竞争力的结果。

ABSTRACT

Many visual recognition problems can be approached by counting instances. To determine whether an event is present in a long internet video, one could count how many frames seem to contain the activity. Classifying the activity of a group of people can be done by counting the actions of individual people. Encoding these cardinality relationships can reduce sensitivity to clutter, in the form of irrelevant frames or individuals not involved in a group activity. Learned parameters can encode how many instances tend to occur in a class of interest. To this end, this paper develops a powerful and flexible framework to infer any cardinality relation between latent labels in a multi-instance model. Hard or soft cardinality relations can be encoded to tackle diverse levels of ambiguity. Experiments on tasks such as human activity recognition, video event detection, and video summarization demonstrate the effectiveness of using cardinality relations for improving recognition results.

研究动机与目标

• 通过建模事件或活动中涉及的相关实例数量（例如帧或人物）来解决视觉识别中的模糊性和杂乱问题。
• 通过将基数关系（如“多数”或“越多越好”）编码进结构化学习框架，提升识别鲁棒性。
• 为具有基数势能的多实例模型开发一种系统化、高效且精确的推理与学习方法。
• 在多样化的视觉识别任务中（包括视频事件检测和摘要）展示基于基数的建模方法的有效性。

提出的方法

• 该方法将每段视频或场景视为一个“包”（bag），其中包含实例（如帧或个体），并使用隐式标签表示每个实例是否属于目标类别。
• 采用概率潜在结构模型表示该包，其中每个实例的标签为未观测变量，模型通过基数势能函数捕捉实例间的依赖关系。
• 定义了一种新颖的核函数，作用于结构化潜在模型，支持基于核的分类，并实现精确推理与学习。
• 使用正态分布（例如，μ=1，σ=0.1）对基数势能进行建模，从而支持“相关帧越多，预测越自信”等软性约束。
• 该框架支持硬性约束（如多数规则）和软性基数假设，使其能够灵活应对不同模糊程度的场景。
• 该方法可与现成的核方法或结构化学习工具集成，支持即插即用，与标准分类器兼容。

实验结果

研究问题

• RQ1 建模相关实例数量（如帧或人物）是否能提升视觉任务中的识别性能？
• RQ2 如何在结构化学习框架中有效编码基数约束（如“多数”或“越多越好”）？
• RQ3 基于潜在结构模型与基数势能的核化方法是否在视频识别任务中优于标准方法？
• RQ4 该方法是否能在事件检测、活动识别和视频摘要等多样化任务中实现良好泛化？

主要发现

• 在TRECVID MED11视频事件检测基准上，所提方法实现了6.1%的平均平均精度（mAP），优于此前最佳方法（multi-g ∝ SVM的5.0%）。
• 在集体活动识别任务中，该方法通过利用基数约束，在多个动作共现时有效缓解模糊性，倾向于选择多数动作。
• 在SumMe数据集的视频摘要任务中，尽管仅使用通用特征（HSV直方图与密集轨迹），该方法仍取得具有竞争力的性能，优于基线SVM与SVR方法。
• 该方法在标签模糊与杂乱场景中表现出强鲁棒性，尤其在并非所有相关帧都同等重要或清晰标注的情况下。
• 基于核的框架实现了精确推理与学习，使其在真实视觉识别应用中具备实用性与高效性。