[论文解读] Self-Supervised Features Improve Open-World Learning

Akshay Raj Dhamija, Touqeer Ahmad+4 more|arXiv (Cornell University)|Feb 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 62被引用 11

一句话总结

本文提出一种自监督特征学习框架，通过将‘类外空间’（OOL）检测与传统的‘分布外’（OOD）检测区分开来，实现了真正的开放世界学习。通过逐步适应自监督特征并使用基于距离的度量方法，该方法在增量学习和开放世界学习中均取得了新的最先进性能，显著提升了未知样本检测与分类的准确性，且无需依赖有监督表征。

ABSTRACT

This paper identifies the flaws in existing open-world learning approaches and attempts to provide a complete picture in the form of extbf{True Open-World Learning}. We accomplish this by proposing a comprehensive generalize-able open-world learning protocol capable of evaluating various components of open-world learning in an operational setting. We argue that in true open-world learning, the underlying feature representation should be learned in a self-supervised manner. Under this self-supervised feature representation, we introduce the problem of detecting unknowns as samples belonging to Out-of-Label space. We differentiate between Out-of-Label space detection and the conventional Out-of-Distribution detection depending upon whether the unknowns being detected belong to the native-world (same as feature representation) or a new-world, respectively. Our unifying open-world learning framework combines three individual research dimensions, which typically have been explored independently, i.e., Incremental Learning, Out-of-Distribution detection and Open-World Learning. Starting from a self-supervised feature space, an open-world learner has the ability to adapt and specialize its feature space to the classes in each incremental phase and hence perform better without incurring any significant overhead, as demonstrated by our experimental results. The incremental learning component of our pipeline provides the new state-of-the-art on established ImageNet-100 protocol. We also demonstrate the adaptability of our approach by showing how it can work as a plug-in with any of the self-supervised feature representation methods.

研究动机与目标

• 为解决现有开放世界学习方法将开放集识别与增量学习混淆，且依赖固定有监督特征表示的局限性。
• 形式化一个全面的协议，用于真正的开放世界学习，通过标准化指标在增量阶段评估性能。
• 证明自监督特征学习可通过减少特征空间过度专业化，提升开放世界场景下的泛化能力与适应性。
• 提出并验证‘类外空间’（OOL）检测这一新颖概念，作为传统OOD检测的更优替代方案。
• 建立一个即插即用的框架，兼容任意自监督特征主干网络，提升灵活性与性能。

提出的方法

• 该框架在大规模无标签数据上进行自监督预训练，以在引入任何类别标签前学习到一个稳健、通用的特征空间。
• 提出一种两阶段流程：固定特征增量学习（FFIL）用于静态特征，自适应特征增量学习（AFIL）则在每个增量阶段通过轻量级感知机微调特征。
• 在自监督特征空间中使用基于距离的度量方法执行‘类外空间’（OOL）检测，将远离已知类别原型区域的区域视为未知。
• 该方法区分OOL（位于原生特征分布内的未知）与OOD（位于分布外的未知），从而实现更精确的检测。
• 评估采用iCaRL ImageNet-100协议，使用OwCA与CwCA等指标，并在固定UDA百分比（如50%）下进行比较，确保方法间公平性。
• 该方法模块化设计，可与任意自监督特征提取器（如SimCLR或MoCo）结合，具有广泛适用性。

实验结果

研究问题

• RQ1 自监督特征学习能否提升开放世界学习系统对未知类别检测的性能？
• RQ2 在开放世界学习中，‘类外空间’（OOL）检测与传统‘分布外’（OOD）检测相比表现如何？
• RQ3 自监督特征空间能否在无需标注样本示例的情况下，实现更好的增量学习性能？
• RQ4 通过轻量级网络逐步适应自监督特征，是否能提升泛化能力并减少灾难性遗忘？
• RQ5 自监督预训练数据的选择（如ImageNet、OpenImages、Places2）在多大程度上影响开放世界学习性能？

主要发现

• 所提出的AFIL方法在ImageNet-100增量学习基准上达到新的SOTA水平，优于现有SOTA方法（如PODNet）。
• 即使在无任何示例的情况下，采用EVM-based OOL检测的FFIL方法在增量学习中仍表现优于或匹配SOTA方法，证明了自监督特征的强大能力。
• AFOWL在所有设置下均持续优于FFOWL，尤其在更具挑战性的OW-500协议下表现更优，表明特征自适应优于固定特征。
• 在OW-500上的性能相比OW-100有所下降，主要由于灾难性遗忘加剧，但自监督基线仍保持强大泛化能力。
• 使用ImageNet预训练的自监督特征表现优于Places2（场景导向）或OpenImages（物体导向），证实领域对齐的重要性。
• 结果验证了OOL检测比OOD检测更简单、更有效，因为OOL在原生特征分布内运作，降低了歧义性。