[论文解读] Multi-View Priors for Learning Detectors from Sparse Viewpoint Data

Bojan Pepik, Michael Stark+2 more|arXiv (Cornell University)|Dec 20, 2013

Advanced Neural Network Applications参考文献 39被引用 7

一句话总结

本文提出了一种迁移学习框架，利用从源物体类别学习到的多视角先验，以提升在训练数据稀疏且不平衡的目标类别上的2D物体检测与视角估计性能。通过使用稀疏和密集协方差先验对不同视角之间的HOG特征相关性进行建模，该方法即使在细粒度类别上也能实现鲁棒学习，在KITTI数据集上实现了最先进性能，尤其在低数据场景下表现优异。

ABSTRACT

While the majority of today's object class models provide only 2D bounding boxes, far richer output hypotheses are desirable including viewpoint, fine-grained category, and 3D geometry estimate. However, models trained to provide richer output require larger amounts of training data, preferably well covering the relevant aspects such as viewpoint and fine-grained categories. In this paper, we address this issue from the perspective of transfer learning, and design an object class model that explicitly leverages correlations between visual features. Specifically, our model represents prior distributions over permissible multi-view detectors in a parametric way -- the priors are learned once from training data of a source object class, and can later be used to facilitate the learning of a detector for a target class. As we show in our experiments, this transfer is not only beneficial for detectors based on basic-level category representations, but also enables the robust learning of detectors that represent classes at finer levels of granularity, where training data is typically even scarcer and more unbalanced. As a result, we report largely improved performance in simultaneous 2D object localization and viewpoint estimation on a recent dataset of challenging street scenes.

研究动机与目标

• 解决多视角物体检测器在细粒度类别层级上面临的数据稀疏与不平衡问题。
• 实现基于有限真实世界数据的鲁棒检测器学习，以预测2D边界框和视角估计结果。
• 设计可迁移的先验，以编码不同物体类别之间的多视角几何与外观相关性。
• 提升在训练数据稀缺且高度不平衡的细粒度物体检测任务中的性能。

提出的方法

• 该方法利用来自源物体类别的HOG特征，学习允许的多视角检测器的先验分布。
• 通过3D物体几何结构建立自动对应关系，对不同视角之间HOG单元的稀疏相关性进行建模。
• 将该方法扩展至完整的密集协方差矩阵，学习HOG单元之间的变换，作为检测过程中的正则化器。
• 将先验应用于基于DPM的检测器，实现仅使用少量标注数据即可迁移到目标类别。
• 该方法与最先进检测器兼容，且仅需标准特征提取和协方差计算。
• 先验在源数据集上一次性训练后，即可应用于新的目标类别，实现高效适应。

实验结果

研究问题

• RQ1 从源物体类别学习到的多视角先验是否能提升在训练数据有限的目标类别上的检测与视角估计性能？
• RQ2 跨视角的HOG特征稀疏相关性在正则化数据不平衡且稀缺的检测器方面有多有效？
• RQ3 对HOG特征的密集协方差先验是否能进一步提升性能，尤其是在细粒度类别上？
• RQ4 所提出的方法是否在基础类别和细粒度物体检测中均优于标准检测器和已有工作？
• RQ5 该方法在具有复杂视角分布的真实街景数据集上，性能提升程度如何？

主要发现

• 所提出的SVM-Σ先验在KITTI数据集上显著优于基线SVM，实现70.4% AP+VP-D和79.6% AP+VP-C的汽车类型检测性能（含部件）。
• 在细粒度汽车型号层级上，SVM-Σ先验实现69.5% mAP（含部件），而基线SVM仅为54.1%，表明其在低数据场景下的鲁棒性。
• 即使在训练数据稀缺且不平衡的情况下，该方法在细粒度类别上的mAP性能仍提升超过10个百分点。
• 与稀疏相关性和基线方法相比，密集协方差先验（SVM-Σ）带来显著性能增益，尤其在严格IoU阈值（0.7）下表现突出，凸显其正则化能力。
• 在更严格评估标准下，基础类别与汽车类型检测的性能差距进一步扩大，表明该先验在细粒度识别中尤为有效。
• 该方法实现了在汽车型号层级的可靠检测，而标准SVM因数据稀缺而失效，证明了结构化先验在迁移学习中的价值。