[论文解读] Viewpoint Adaptation for Rigid Object Detection

Patrick Wang, Kenneth D. Morton+2 more|arXiv (Cornell University)|Feb 24, 2017

Video Surveillance and Tracking Methods参考文献 18被引用 3

一句话总结

本文提出了一种视角自适应方法，使单视角目标检测器能够在不微调的情况下泛化到任意新视角。通过利用相机位姿信息推断特征空间变换，该方法可实时适应线性与复杂检测器（如HOG/SVM、ACF），在中等视角误差下显著提升检测性能，同时相比图像仿射变换方法降低了计算成本。

ABSTRACT

An object detector performs suboptimally when applied to image data taken from a viewpoint different from the one with which it was trained. In this paper, we present a viewpoint adaptation algorithm that allows a trained single-view object detector to be adapted to a new, distinct viewpoint. We first illustrate how a feature space transformation can be inferred from a known homography between the source and target viewpoints. Second, we show that a variety of trained classifiers can be modified to behave as if that transformation were applied to each testing instance. The proposed algorithm is evaluated on a person detection task using images from the PETS 2007 and CAVIAR datasets, as well as from a new synthetic multi-view person detection dataset. It yields substantial performance improvements when adapting single-view person detectors to new viewpoints, and simultaneously reduces computational complexity. This work has the potential to improve detection performance for cameras viewing objects from arbitrary viewpoints, while simplifying data collection and feature extraction.

研究动机与目标

• 解决单视角目标检测器在不同相机视角图像上应用时性能下降的问题。
• 实现在无需目标域训练数据的情况下，将训练好的检测器适配到新视角。
• 通过在分类器空间而非图像层面进行特征变换，相比图像仿射变换方法降低计算成本。
• 开发对相机位姿估计中等误差具有鲁棒性的视角自适应框架。
• 将现有检测器的适用范围扩展至具有任意相机位姿的监控与机器人应用场景。

提出的方法

• 利用相机位姿与地面平面几何关系，从源视角与目标视角之间的已知单应矩阵推断特征空间变换。
• 对每个测试样本的特征向量应用线性变换，有效模拟特征空间中的透视变形效果。
• 修改训练好的分类器（如SVM、ACF），在推理阶段隐式应用视角变换，避免逐窗口重新计算特征。
• 利用相机位姿限制检测搜索空间，减少候选窗口数量，提升运行效率。
• 假设物体为平面以建模从三维到二维的透视投影，实现精确的视角建模。
• 采用闭式解进行特征变换，避免迭代优化，确保实时性能。

实验结果

研究问题

• RQ1 是否可以不依赖目标域数据微调，有效将单视角目标检测器适配到新视角？
• RQ2 视角自适应检测器在准确率与速度方面，与图像仿射变换方法及未自适应检测器相比表现如何？
• RQ3 该方法对相机视角估计误差（如俯仰角、方位角）的鲁棒性如何？
• RQ4 该方法是否可推广至复杂检测器（如ACF）甚至深度学习模型？
• RQ5 与标准检测流水线相比，该自适应方法的计算开销如何？

主要发现

• 在CAVIAR数据集上，视角自适应的HOG/SVM与ACF检测器分别达到11.8 fps与10.7 fps的帧率，相比图像仿射变换方法（0.04–0.07 fps）速度提升超过100倍。
• 当估计的目标俯仰角与真实俯仰角相差不超过0.31弧度（约18°）时，检测性能显著提升，10⁻² fppw下的误检率明显优于未自适应检测器。
• 当估计俯仰角超过1.1弧度时，性能迅速下降，甚至低于未自适应检测器基线，表明有效自适应存在实际上限。
• 该方法通过利用相机位姿隐式限制检测窗口搜索空间，避免逐窗口重新提取特征，从而降低计算复杂度。
• 该自适应框架对视角估计误差具有鲁棒性，在相机俯仰角中等误估情况下仍能保持性能提升。
• 该方法在多视角行人检测基准上实现了最先进检测性能，且无需任何目标域微调数据。