[论文解读] Understanding the Fisher Vector: a multimodal part model

David Novotný, Diane Larlus+2 more|arXiv (Cornell University)|Apr 18, 2015

Advanced Image and Video Retrieval Techniques参考文献 17被引用 5

一句话总结

该论文提出，Fisher Vector (FV) 目标检测器作为部分模型运作，其中每个部分通过一组固定的视觉词捕捉多模态外观。尽管使用了较小的词袋，FV 仍能通过多模态分布隐式建模复杂的外观变化，表现出补丁级和组件级的稀疏性，从而在仅造成极小精度损失的情况下实现显著的计算加速。

ABSTRACT

Fisher Vectors and related orderless visual statistics have demonstrated excellent performance in object detection, sometimes superior to established approaches such as the Deformable Part Models. However, it remains unclear how these models can capture complex appearance variations using visual codebooks of limited sizes and coarse geometric information. In this work, we propose to interpret Fisher-Vector-based object detectors as part-based models. Through the use of several visualizations and experiments, we show that this is a useful insight to explain the good performance of the model. Furthermore, we reveal for the first time several interesting properties of the FV, including its ability to work well using only a small subset of input patches and visual words. Finally, we discuss the relation of the FV and DPM detectors, pointing out differences and commonalities between them.

研究动机与目标

• 理解 Fisher Vector (FV) 检测器为何在使用小规模视觉词袋和粗略几何信息的情况下仍能实现强大性能。
• 探究 FV 检测器是否可被解释为类似可变形部分模型（DPMs）的部分基模型。
• 揭示并量化 FV 检测器在补丁和视觉词两个层级上的稀疏性特性。
• 阐明 FV 与 DPM 在建模目标外观变化方面的异同。
• 评估 FV 检测器在对补丁和高斯组件进行剪枝时的鲁棒性，且性能下降不显著。

提出的方法

• 从先前工作中重新实现 FV 检测流程，使用 SIFT 特征，并采用高斯混合模型（GMM）结合硬分配将补丁分配至组件。
• 通过相对于 GMM 均值的归一化差异和平方偏差，计算每个补丁和组件的一阶与二阶统计量（Fisher 向量分量）。
• 对 FV 分类器权重应用组 lasso 正则化，以在高斯组件层级诱导稀疏性，促进移除无信息量的组件。
• 采用两阶段训练流程：首先使用组 lasso 识别相关组件，然后通过标准 ℓ₂ 正则化 SVM 进行微调以恢复性能。
• 通过逐步移除低分补丁和高斯组件来评估稀疏性，测量其对平均精度均值（mAP）的影响。
• 可视化 FV 检测器以分析类似部分的结构和多模态外观建模，与 DPM 可视化结果进行对比。

实验结果

研究问题

• RQ1 Fisher Vector 检测器能否被有意义地解释为部分基模型，其中各部分捕捉复杂且多模态的外观？
• RQ2 FV 模型如何利用有限的视觉词袋和无显式空间形变机制，捕捉多样的目标外观？
• RQ3 在不造成显著性能损失的前提下，FV 检测器在补丁和高斯组件层面可被剪枝到何种程度？
• RQ4 FV 与 DPM 在部分建模和稀疏性方面的主要异同点是什么？
• RQ5 组 lasso 正则化与微调相结合，如何在诱导稀疏性的同时保持 FV 模型的性能？

主要发现

• FV 检测器表现出补丁级稀疏性：移除高达 80% 的最低分补丁对检测性能影响极小，mAP 几乎不变。
• FV 检测器表现出组件级稀疏性：可移除高达 50% 的高斯组件，mAP 仅轻微下降，尤其在组 lasso 正则化后进行微调时效果更佳。
• FV 模型通过每部分的分布乘积捕捉多模态外观，隐式建模了指数级数量的外观组合，解释了其对外观变化的鲁棒性。
• 尽管缺乏显式空间形变机制，FV 检测器通过固定部分集合与丰富的多模态外观建模，实现了与 DPMs 相当的性能。
• 组 lasso 正则化与 ℓ₂ 微调的结合，有效实现了稀疏性诱导，同时在保持检测精度的前提下实现了推理速度的成比例加速。
• 可视化结果证实，FV 检测器包含可解释的、类似部分的结构，支持将 FV 解释为一种多模态部分模型。