[论文解读] Self-Learning Camera: Autonomous Adaptation of Object Detectors to Unlabeled Video Streams

Adrien Gaidon, Gloria Zen+1 more|arXiv (Cornell University)|Jun 17, 2014

Domain Adaptation and Few-Shot Learning参考文献 21被引用 9

一句话总结

该论文提出了一种自学习相机系统，通过在线多任务学习和实例跟踪技术，无需标注数据或手动调整超参数，即可自主适应未标注的视频流，实现对目标检测器的自适应。通过联合学习高置信度种子检测和困难负样本，该方法在无监督检测任务中达到最先进性能，平均精度最高提升+4.4%。

ABSTRACT

Learning object detectors requires massive amounts of labeled training samples from the specific data source of interest. This is impractical when dealing with many different sources (e.g., in camera networks), or constantly changing ones such as mobile cameras (e.g., in robotics or driving assistant systems). In this paper, we address the problem of self-learning detectors in an autonomous manner, i.e. (i) detectors continuously updating themselves to efficiently adapt to streaming data sources (contrary to transductive algorithms), (ii) without any labeled data strongly related to the target data stream (contrary to self-paced learning), and (iii) without manual intervention to set and update hyper-parameters. To that end, we propose an unsupervised, on-line, and self-tuning learning algorithm to optimize a multi-task learning convex objective. Our method uses confident but laconic oracles (high-precision but low-recall off-the-shelf generic detectors), and exploits the structure of the problem to jointly learn on-line an ensemble of instance-level trackers, from which we derive an adapted category-level object detector. Our approach is validated on real-world publicly available video object datasets.

研究动机与目标

• 实现对流式未标注视频数据的自主、在线目标检测器自适应，无需依赖目标域的标注数据。
• 解决无监督、非平稳视频流中模型漂移和负迁移的挑战。
• 消除实时自适应场景中手动调整超参数的需求。
• 利用时空视频结构提取有用的正样本和困难负样本以提升检测性能。
• 开发一种自调参的在线多任务学习算法，联合优化实例级跟踪器与共享类别级检测器。

提出的方法

• 利用高置信度但简洁的“预言机”（如预训练的DPM检测器）从未标注视频流中生成高置信度种子检测结果。
• 采用实例跟踪器集成（EIT）在帧间跟踪种子检测结果，利用时间一致性识别可靠的正样本和负样本。
• 应用均值正则化的多任务学习公式，联合优化跟踪器，强制在实例间共享潜在表征。
• 提出一种新颖的自调参机制，基于“无跳跃”和“无克隆”假设，在非平稳环境中保持模型稳定性。
• 使用Fisher向量（FV）特征对跟踪对象进行高效、高维表征，以提升模型泛化能力。
• 应用随机优化技术，实现对流式数据的高效、实时自适应。

实验结果

研究问题

• RQ1 能否在不依赖目标领域任何标注数据的情况下，实现对新视频流的自主目标检测器适应？
• RQ2 在无监督、在线视频检测中，如何有效识别并利用困难负样本？
• RQ3 当训练数据稀缺且非平稳时，共享潜在表征的多任务学习能否提升检测性能？
• RQ4 在无标注验证数据可用的情况下，如何实现实时自适应的超参数自动调优？
• RQ5 通过自调参多任务学习训练的实例跟踪器集成，在多大程度上能超越独立检测器或基线无监督方法？

主要发现

• 所提出的自学习相机系统在所有测试场景中，相较于预训练的DPM检测器，平均精度平均提升+4.0%。
• 在Ols2场景中实现+4.4%的性能提升，表明在数据充足、场景复杂的环境中具有显著性能增益。
• 通过跟踪器间的联合学习（EIT）相比独立跟踪器学习（I-EIT），平均性能提升+1.7%，在特定视频中最高提升达+4.4%。
• 尽管本方法为独立检测器而非后处理重排序方法，仍平均优于最先进方法DbD +0.6%。
• 在最短视频（Ols1，约10秒）上性能略有下降，表明需足够数据量才能超越通用检测器。
• 自调参机制有效维持了模型稳定性，避免在非平稳流式环境中出现过拟合或漂移。