[论文解读] Open-World Learning Without Labels

Mohsen Jafarzadeh, Akshay Raj Dhamija+4 more|arXiv (Cornell University)|Nov 25, 2020

Anomaly Detection Techniques and Applications参考文献 41被引用 6

一句话总结

本文提出了一种无监督开放世界学习框架，使自主智能体能够从持续的无标签数据流中发现并学习新的图像类别，同时不遗忘先前的知识。通过利用无监督特征表示并引入一种新颖的评估指标，该方法在人类标注不可行的真实、非平稳环境中实现了稳健且可扩展的实时学习。

ABSTRACT

Open-world learning is a problem where an autonomous agent detects things that it does not know and learns them over time from a non-stationary and never-ending stream of data; in an open-world environment, the training data and objective criteria are never available at once. The agent should grasp new knowledge from learning without forgetting acquired prior knowledge. Researchers proposed a few open-world learning agents for image classification tasks that operate in complex scenarios. However, all prior work on open-world learning has all labeled data to learn the new classes from the stream of images. In scenarios where autonomous agents should respond in near real-time or work in areas with limited communication infrastructure, human labeling of data is not possible. Therefore, supervised open-world learning agents are not scalable solutions for such applications. Herein, we propose a new framework that enables agents to learn new classes from a stream of unlabeled data in an unsupervised manner. Also, we study the robustness and learning speed of such agents with supervised and unsupervised feature representation. We also introduce a new metric for open-world learning without labels. We anticipate our theories and method to be a starting point for developing autonomous true open-world never-ending learning agents.

研究动机与目标

• 解决监督式开放世界学习在实时和低通信环境下的可扩展性限制。
• 使自主智能体能够从无标签数据流中学习新类别，而无需先验知识或人工标注标签。
• 开发一种鲁棒且高效的学习除去机制，防止先前获取知识的灾难性遗忘。
• 提出一种专为无标签开放世界学习设计的新评估指标。
• 比较无监督与监督特征表示在开放世界设置下的性能与学习速度。

提出的方法

• 该框架在永不间断、非平稳的数据流中运行，新类别以不可预测的方式出现。
• 采用无监督特征学习从无标签图像数据中提取表示，无需类别标签。
• 引入一种新颖指标，用于在缺乏真实标签的情况下评估开放世界学习性能。
• 智能体通过聚类或基于嵌入的发现机制持续检测并整合新类别。
• 通过正则化或回放机制维持知识稳定性，防止灾难性遗忘。
• 采用无监督与监督特征表示进行评估，以比较学习效率与鲁棒性。

实验结果

研究问题

• RQ1 在实时、流式环境中，能否在不依赖标注数据的情况下有效实现开放世界学习？
• RQ2 在开放世界场景中，无监督特征表示与监督表示相比，在学习速度与鲁棒性方面有何差异？
• RQ3 灾难性遗忘在开放世界学习中的影响如何？在无标签条件下如何缓解？
• RQ4 当缺乏标签时，如何设计一种可靠的开放世界学习评估指标？
• RQ5 所提出的框架能否使自主智能体在人类干预有限的复杂现实应用中实现可扩展性？

主要发现

• 所提出的无监督开放世界学习框架能够成功从未标注数据流中发现并学习新的图像类别，且无需先验知识。
• 该方法在非平稳环境中表现出稳健性能，保持了稳定性并有效防止了灾难性遗忘。
• 在标签稀缺环境下，无监督特征表示相比监督表示实现了更快的学习与适应速度。
• 所引入的评估指标为在无真实标签条件下评估开放世界学习性能提供了可靠方法。
• 该框架实现了在人类标注不切实际或不可行的自主系统中可扩展的实时学习。
• 研究结果为在复杂、动态环境中开发真正的开放世界、永不间断学习智能体奠定了基础。