[论文解读] Probabilistic Zero-shot Classification with Semantic Rankings

Jihun Hamm, Mikhail Belkin|arXiv (Cornell University)|Feb 27, 2015

Domain Adaptation and Few-Shot Learning参考文献 19被引用 3

一句话总结

本文提出一种基于非度量、基于排序的语义表示的概率零样本分类框架，用于聚合异构语义源（如 WordNet、Wikipedia 和众包判断）而无需微调预训练分类器。通过使用概率模型（Mallows 和 Plackett-Luce）对语义排序进行建模，该方法在 Animals 数据集上达到 0.395 的零样本准确率，在 CIFAR-100 数据集上达到 0.339，使用众包排序结果，优于所有确定性与直接相似性基线方法。

ABSTRACT

In this paper we propose a non-metric ranking-based representation of semantic similarity that allows natural aggregation of semantic information from multiple heterogeneous sources. We apply the ranking-based representation to zero-shot learning problems, and present deterministic and probabilistic zero-shot classifiers which can be built from pre-trained classifiers without retraining. We demonstrate their the advantages on two large real-world image datasets. In particular, we show that aggregating different sources of semantic information, including crowd-sourcing, leads to more accurate classification.

研究动机与目标

• 解决零样本学习中异质语义相似性源的整合挑战，其中来自不同来源的数值相似性度量无法直接比较。
• 通过利用序数（基于排序）的语义表示而非基于度量的相似性值，提升零样本分类准确率。
• 通过将未见类别的决策边界与新类别的语义排序对齐，实现无需微调即可复用预训练分类器对未见类别进行分类。
• 证明对多样化来源（尤其是众包数据）的语义排序进行概率建模，可带来更鲁棒且更准确的零样本预测。

提出的方法

• 将类别之间的语义相似性表示为排序顺序（例如：'猫比汽车更接近马'），而非数值距离，从而对单调变换和缩放保持不变。
• 使用概率排序模型——特别是 Mallows 和 Plackett-Luce 模型——基于多个异质来源，估计给定类别下语义排序的可能性。
• 通过将预训练模型（如一对多、一对一、多类）的预测排序与未见类别的学习到的语义排序进行比较，构建零样本分类器。
• 通过建模其集体排序分布，聚合来自多个来源（WordNet、Wikipedia、Google N-gram、词嵌入和众包）的语义信息。
• 在已知类别的保留语义排序上训练概率排序模型，然后使用最大后验概率（MAP）预测对未见测试样本进行分类。
• 在两个大规模图像数据集（Animals 和 CIFAR-100）上评估该方法，使用预训练图像特征和多种语义来源，以评估泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 与基于度量的相似性聚合相比，基于排序的语义表示是否能提升零样本分类准确率？
• RQ2 对来自多个异质来源（如 WordNet、Wikipedia、众包）的语义排序进行概率建模，是否能比对数值相似性进行启发式平均带来更好的泛化性能？
• RQ3 能否仅通过语义排序，无需微调，有效复用预训练分类器对未见类别进行零样本分类？
• RQ4 所提方法的性能与最先进基于属性和嵌入的零样本学习方法相比如何？

主要发现

• 在 Animals 数据集上，使用众包语义排序的 PR 方法实现了 0.395 的零样本分类准确率，优于使用语言学来源的次佳方法（0.370）。
• 在 CIFAR-100 上，PR 方法使用语言学来源实现了 0.339 的准确率，显著优于确定性排序（0.281）和直接相似性（0.316）基线。
• PR 方法在二分类零样本任务（如区分 'cat' 与 'truck' 或 'deer' 与 'ship'）上达到了 95% 的准确率，尽管这些类别没有训练图像。
• Mallows 模型在 Animals 数据集上分别达到 0.91/0.99/0.99 的准确率（K=2/5/10），而 Plackett-Luce 模型达到 0.79/0.84/0.96，表明在不同排序聚合策略下均表现强劲。
• 众包语义排序在 Animals 上提升了性能（0.395），但在 CIFAR 上性能下降（0.339），可能是因为在 100 个类别中排序的可靠性低于 40 个类别的 Animals。
• 该方法优于最先进基于嵌入和基于属性的方法，在无需人工属性标注的情况下实现了更高的准确率。