[论文解读] Vocabulary-informed Extreme Value Learning

Yanwei Fu, Hanze Dong+3 more|arXiv (Cornell University)|May 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用 4

一句话总结

本文提出了一种名为词汇信息极端值学习（ViEVL）的新颖语义嵌入框架，通过利用开放词汇先验和极端值理论，将视觉特征映射到概率语义空间。通过建模类别边界和覆盖度分布，ViEVL 实现了在监督学习、零样本识别和开放集识别中的统一性能，在基准数据集上取得了最先进结果。

ABSTRACT

The novel unseen classes can be formulated as the extreme values of known classes. This inspired the recent works on open-set recognition \cite{Scheirer_2013_TPAMI,Scheirer_2014_TPAMIb,EVM}, which however can have no way of naming the novel unseen classes. To solve this problem, we propose the Extreme Value Learning (EVL) formulation to learn the mapping from visual feature to semantic space. To model the margin and coverage distributions of each class, the Vocabulary-informed Learning (ViL) is adopted by using vast open vocabulary in the semantic space. Essentially, by incorporating the EVL and ViL, we for the first time propose a novel semantic embedding paradigm -- Vocabulary-informed Extreme Value Learning (ViEVL), which embeds the visual features into semantic space in a probabilistic way. The learned embedding can be directly used to solve supervised learning, zero-shot and open set recognition simultaneously. Experiments on two benchmark datasets demonstrate the effectiveness of proposed frameworks.

研究动机与目标

• 解决现有开放集识别方法无法命名或语义描述新出现的未见类别的局限性。
• 通过将新类别建模为语义空间中的极端值，实现对未见类别的命名和语义表征。
• 开发一个统一的学习框架，同时支持监督学习、零样本识别和开放集识别。
• 利用大规模开放词汇语义先验，更稳健且语义意义明确地建模类别分布。
• 提出一种概率嵌入方法，将视觉特征映射到语义空间，同时捕捉边界和覆盖度分布。

提出的方法

• 将新类别建模为已知类别的极端值，利用极端值理论（EVT）进行分布建模。
• 引入词汇信息学习（ViL），利用语义空间中的大规模开放词汇建模类别边界和覆盖度。
• 将极端值学习（EVL）与 ViL 结合，构建 ViEVL 框架，实现视觉到语义空间的概率映射。
• 利用语义空间中的分布估计样本属于已知类别或为新型极端类别的可能性。
• 端到端训练模型，将视觉特征嵌入语义空间，并生成具有不确定性的表征。
• 直接利用生成的嵌入空间进行监督学习、零样本识别和开放集识别任务的推理。

实验结果

研究问题

• RQ1 能否有效将未见类别建模为语义空间中的极端值，以实现其语义命名与表征？
• RQ2 开放词汇先验在视觉识别中如何提升类别分布建模的鲁棒性与语义可解释性？
• RQ3 统一框架在多大程度上可同时支持监督学习、零样本识别和开放集识别？
• RQ4 将视觉特征概率嵌入语义空间，是否能提升对已知类别之外新类别的泛化能力？
• RQ5 对已知类别边界和覆盖度分布的显式建模，如何增强对未见类别的检测与表征能力？

主要发现

• 所提出的 ViEVL 框架在两个基准数据集上实现了零样本识别和开放集识别的最先进性能。
• 通过将新类别建模为极端值，该方法实现了对先前未见类别的语义命名，这是以往开放集识别方法所不具备的能力。
• 开放词汇先验的整合显著提升了模型对新类别进行表征与泛化的能力。
• 概率嵌入空间可直接用于多种识别范式，无需微调或适应。
• 由于显式建模了类别覆盖度和边界分布，该框架在分布外样本的检测与泛化方面表现更优。
• 实证结果证实，ViEVL 在零样本识别和开放集识别基准上均优于现有方法。