[论文解读] PMAL: Open Set Recognition via Robust Prototype Mining

Jing Lü, Yunxu Xu+3 more|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出PMAL，一种新颖的开放集识别框架，通过在优化嵌入空间之前显式挖掘高质量且多样化的原型，显著提升了已知-未知类别的区分能力。通过利用数据不确定性与多样性感知过滤，PMAL在多个基准测试中实现了最先进性能，其稳健的原型选择与稳定的嵌入学习有效提升了开放集识别效果。

ABSTRACT

Open Set Recognition (OSR) has been an emerging topic. Besides recognizing predefined classes, the system needs to reject the unknowns. Prototype learning is a potential manner to handle the problem, as its ability to improve intra-class compactness of representations is much needed in discrimination between the known and the unknowns. In this work, we propose a novel Prototype Mining And Learning (PMAL) framework. It has a prototype mining mechanism before the phase of optimizing embedding space, explicitly considering two crucial properties, namely high-quality and diversity of the prototype set. Concretely, a set of high-quality candidates are firstly extracted from training samples based on data uncertainty learning, avoiding the interference from unexpected noise. Considering the multifarious appearance of objects even in a single category, a diversity-based strategy for prototype set filtering is proposed. Accordingly, the embedding space can be better optimized to discriminate therein the predefined classes and between known and unknowns. Extensive experiments verify the two good characteristics (i.e., high-quality and diversity) embraced in prototype mining, and show the remarkable performance of the proposed framework compared to state-of-the-arts.

研究动机与目标

• 解决开放集识别中隐式原型学习的局限性，其中原型易受噪声和冗余影响。
• 通过显式选择高质量且多样化的原型，提升已知类与未知类之间的判别能力。
• 提出两阶段框架——原型挖掘后接嵌入学习，以增强模型的鲁棒性与泛化能力。
• 在不同预训练模型之间保持原型选择的稳定性，确保可靠且一致的挖掘结果。
• 证明显式原型挖掘可提升嵌入空间中的类内紧凑性与类间分离度。

提出的方法

• 引入一种新度量——嵌入拓扑鲁棒性，通过测量遮挡或模糊等低质量因素引起的数据不确定性，识别高质量训练样本。
• 采用基于多样性的过滤策略，按类别选择原型，减少冗余并保留各类别内多样的外观特征。
• 在嵌入优化过程中，将所选的高质量且多样化原型作为固定锚点，应用于点到集合的距离度量。
• 使用联合损失函数优化嵌入空间，结合分类损失与原型感知的边缘损失，以增强已知类与未知类之间的分离。
• 采用多个预训练模型（U=2）计算原型质量分数，提升稳定性并降低对单一模型的依赖。
• 在推理阶段仅使用一个模型进行特征提取，避免引入额外参数，从而保持推理效率。

实验结果

研究问题

• RQ1 与隐式原型学习相比，通过质量与多样性约束进行显式原型挖掘是否能提升开放集识别性能？
• RQ2 原型选择的鲁棒性在不同预训练模型之间如何变化？是否能确保稳定的挖掘结果？
• RQ3 原型选择中的多样性在多大程度上提升了嵌入空间中的类内紧凑性与类间分离度？
• RQ4 超参数如ε（质量阈值）、δ（边缘）和λp（损失权重）如何影响模型的AUROC与收敛性？
• RQ5 所提出的框架是否在多样化的基准测试中优于最先进方法，尤其在TinyImageNet等复杂数据集上？

主要发现

• PMAL在MNIST和TinyImageNet基准测试中均实现了最先进AUROC性能，相较于TinyImageNet上先前的最先进方法提升了10.2%。
• 基于多样性的原型选择方法优于随机选择与K-Means聚类，如表5所示，在多个数据集上均表现出一致的性能提升。
• 原型挖掘在不同预训练模型间表现稳定，三次重复运行中原型位置波动极小，表明其鲁棒性。
• 每类使用T=10个原型相比T=1个原型，能获得更紧凑的类内嵌入，减少与未知样本的重叠，提升泛化能力。
• 该方法对超参数λp相对不敏感，当λp在0.5至1.0之间变化时，AUROC仅波动0.3分，表明具有良好的稳定性。
• PMAL学习到的嵌入空间在已知类与未知类之间表现出显著更大的分离度，尤其在TinyImageNet等复杂数据集上，优于CPN与RPL。