[论文解读] Novelty Detection and Learning from Extremely Weak Supervision

Eduardo Soares, Plamen Angelov|arXiv (Cornell University)|Nov 1, 2019

Anomaly Detection Techniques and Applications参考文献 20被引用 6

一句话总结

本文提出 xClass，一种新颖的自主机器学习方法，用于在极弱监督条件下进行新奇检测与分类——仅需单一类别和少量标注样本。该方法采用递归的、非参数化的基于原型的学习方式，结合自动特征选择与基于置信度的新类别检测，无需微调即可实现高精度与可解释性，即使在训练后出现未知类别时亦能保持性能。

ABSTRACT

In this paper we offer a method and algorithm, which make possible fully autonomous (unsupervised) detection of new classes, and learning following a very parsimonious training priming (few labeled data samples only). Moreover, new unknown classes may appear at a later stage and the proposed xClass method and algorithm are able to successfully discover this and learn from the data autonomously. Furthermore, the features (inputs to the classifier) are automatically sub-selected by the algorithm based on the accumulated data density per feature per class. As a result, a highly efficient, lean, human-understandable, autonomously self-learning model (which only needs an extremely parsimonious priming) emerges from the data. To validate our proposal we tested it on two challenging problems, including imbalanced Caltech-101 data set and iRoads dataset. Not only we achieved higher precision, but, more significantly, we only used a single class beforehand, while other methods used all the available classes) and we generated interpretable models with smaller number of features used, through extremely weak and weak supervision.

研究动机与目标

• 解决传统监督学习的局限性，后者需要大规模标注数据集，且无法在训练后检测新类别。
• 开发一种在极弱监督下运行的自学习模型，仅使用来自单一类别的少量标注样本。
• 实现在数据流中未知类别出现时的自主发现与学习。
• 通过语言化的 IF-THEN 规则生成可解释、人类可理解的模型，提升透明度与可用性。
• 降低计算成本，并在新数据模式出现时避免重新训练。

提出的方法

• 该方法采用递归的、非迭代的、非参数化的基于原型的学习方式，以建模局部数据分布与典型性。
• 对输入数据进行标准化与基于单位的归一化处理，剔除 |z| ≥ 3 的离群点。
• 算法基于每类别每特征的数据密度自动选择相关特征，动态降低维度。
• 当新数据分类置信度下降时触发新奇检测，表明可能存在新类别。
• 当置信度低于阈值时，创建新类别并使用新数据进行训练，无需重新训练现有模型。
• 最终模型以可解释的语言化规则（IF-THEN）形式表示，支持人工分析与透明性。

实验结果

研究问题

• RQ1 机器学习模型能否在无先验知识或重新训练的情况下，自主检测并学习新类别？
• RQ2 在极弱监督条件下（仅使用一个类别和少量标注样本）该方法的有效性如何？
• RQ3 模型能否在实时适应未知数据模式的同时保持高精度与可解释性？
• RQ4 在弱监督与全监督条件下，该模型性能与最先进方法相比如何？
• RQ5 模型能否以高置信度检测并分类未知类别，避免将其误判为已有类别？

主要发现

• xClass 方法在 Caltech-101 数据集上仅使用所有类别中 1% 的标注数据，即实现了接近 90% 的分类准确率，优于最先进方法。
• 仅用一个类别进行预训练时，xClass 成功自主发现并学习了所有其他类别，而传统方法需预先掌握全部类别知识。
• 该模型在检测未知类别方面表现出卓越的精确性与鲁棒性，而深度学习模型常以高置信度错误分类未知类别。
• 该算法通过语言化 IF-THEN 规则生成高度可解释的模型，使人类专家能够分析并验证决策逻辑。
• 该方法除特征选择外无需用户特定超参数，且由于其递归、非迭代设计，在时间和计算资源方面表现出强效率。
• 与深度学习模型常以高置信度错误分类未知类别不同，xClass 检测到置信度下降并主动创建新类别，展示了自适应学习能力。