[论文解读] Online Open World Recognition

Rocco De Rosa, Thomas Mensink+1 more|arXiv (Cornell University)|Apr 8, 2016

Advanced Bandit Algorithms Research参考文献 28被引用 21

一句话总结

本文提出了一种在线开放世界识别框架，能够增量式学习度量，自适应调整新奇检测阈值，并采用局部学习以提升在动态环境中的识别性能。通过将三种度量学习算法（NCM、NNO、NBC）扩展为支持在线和增量更新，该方法在大规模数据集上优于固定度量基线，证明了在真实世界识别场景中持续适应的重要性。

ABSTRACT

As we enter into the big data age and an avalanche of images have become readily available, recognition systems face the need to move from close, lab settings where the number of classes and training data are fixed, to dynamic scenarios where the number of categories to be recognized grows continuously over time, as well as new data providing useful information to update the system. Recent attempts, like the open world recognition framework, tried to inject dynamics into the system by detecting new unknown classes and adding them incrementally, while at the same time continuously updating the models for the known classes. incrementally adding new classes and detecting instances from unknown classes, while at the same time continuously updating the models for the known classes. In this paper we argue that to properly capture the intrinsic dynamic of open world recognition, it is necessary to add to these aspects (a) the incremental learning of the underlying metric, (b) the incremental estimate of confidence thresholds for the unknown classes, and (c) the use of local learning to precisely describe the space of classes. We extend three existing metric learning algorithms towards these goals by using online metric learning. Experimentally we validate our approach on two large-scale datasets in different learning scenarios. For all these scenarios our proposed methods outperform their non-online counterparts. We conclude that local and online learning is important to capture the full dynamics of open world recognition.

研究动机与目标

• 解决静态、封闭集学习在现实视觉识别系统中的局限性，这些系统中类别数量和数据随时间演变。
• 克服现有开放世界识别方法的不足，这些方法使用固定度量和阈值，无法随新数据和新类别的出现而自适应调整。
• 开发一种完全在线的学习框架，通过增量更新度量、置信度阈值和局部表示，以反映不断演变的数据分布。
• 通过实现对新类别和数据流的持续适应，提升封闭集和开放集识别的性能。
• 证明局部非参数学习在建模开放世界设置中复杂类别边界方面的有效性。

提出的方法

• 引入一种在线学习模板，按顺序处理数据流，在每次预测后更新模型和度量。
• 将三种非参数分类器——最近类均值（NCM）、最近非离群点（NNO）和最近球形分类器（NBC）——扩展为支持在线度量学习，以随时间自适应调整马氏距离。
• 通过已知类别的实时置信度分数，实现新颖性检测阈值的增量估计，从而在新增类别时实现动态调整。
• 通过最近球形分类器（NBC）实现局部学习，该方法使用自适应、局部加权原型来建模类别边界，从而更好地捕捉复杂、非线性的类别结构。
• 使用封闭集与开放集准确率的调和平均值（F-score）作为主要评估指标，以平衡对已知类和未知类的性能表现。
• 使用在线随机优化进行模型训练和更新，确保计算开销低且具备实时适应能力。

实验结果

研究问题

• RQ1 在线度量学习是否能在新类别和数据持续到达的开放世界设置中提升识别性能？
• RQ2 基于实时置信度分数动态更新新颖性检测阈值，是否能带来优于固定阈值的开放集性能？
• RQ3 与线性方法（如NNO）相比，局部非参数学习（如最近球形分类）在建模复杂、演化的类别边界方面表现如何？
• RQ4 度量和阈值的增量学习在多大程度上提升了流式识别场景中封闭集和开放集的准确率？
• RQ5 所提出的在线扩展方法在类别组成不断演变的多样化大规模数据集上的表现如何？

主要发现

• 所提出的在线扩展方法（oNNO 和 oNBC）在 ILVRC’10 和 Places2 数据集上的在线调和准确率方面，显著优于其固定度量基线（NNO 和 NBC）。
• 采用局部学习的 oNBC 方法表现优于 oNNO，因其能通过自适应、局部加权原型更精确地建模类别边界。
• 增量阈值估计方法成功保持了封闭集与开放集置信度分数之间的清晰分离，从而实现了更可靠的未知类别检测。
• oNNO 分类器对已知类和未知类别的置信度分数几乎无法区分，表明固定阈值方法无效——凸显了动态阈值自适应的必要性。
• 性能提升在流式处理的后期阶段最为显著，此时系统已学习更多类别，且通过持续更新使度量趋于稳定。
• Places2 数据集使用强大特征导致整体准确率高于 ILVRC’10，但在线方法的相对性能增益在两个数据集上保持一致。