[论文解读] Zero Shot Recognition with Unreliable Attributes

Dinesh Jayaraman, Kristen Grauman|arXiv (Cornell University)|Sep 15, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用 176

一句话总结

本文提出了一种基于随机森林的零样本识别方法，通过利用属性分类器的受试者工作特征（ROC）显式建模属性预测的不可靠性。通过结合属性注释中的误差统计与不确定性，该方法在三个基准数据集的零样本和少样本设置下均实现了更优的泛化性能。

ABSTRACT

In principle, zero-shot learning makes it possible to train a recognition model simply by specifying the category's attributes. For example, with classifiers for generic attributes like \emph{striped} and \emph{four-legged}, one can construct a classifier for the zebra category by enumerating which properties it possesses---even without providing zebra training images. In practice, however, the standard zero-shot paradigm suffers because attribute predictions in novel images are hard to get right. We propose a novel random forest approach to train zero-shot models that explicitly accounts for the unreliability of attribute predictions. By leveraging statistics about each attribute's error tendencies, our method obtains more robust discriminative models for the unseen classes. We further devise extensions to handle the few-shot scenario and unreliable attribute descriptions. On three datasets, we demonstrate the benefit for visual category learning with zero or few training examples, a critical domain for rare categories or categories defined on the fly.

研究动机与目标

• 解决零样本学习中属性预测不可靠的挑战，其中中级属性分类器常因遮挡、模糊性和相关性而产生错误。
• 通过建模属性分类器的错误倾向（如假阴性），而非将预测视为真实标签，从而提升零样本泛化能力。
• 将框架扩展至少样本场景，即为新类别提供少量标注图像时的情形。
• 通过概率扩展建模真实属性、预测属性与类别标签之间的依赖关系，以应对不可靠的类别-属性关联。
• 证明显式建模属性预测中的不确定性可带来更鲁棒且更准确的零样本识别模型。

提出的方法

• 训练一个随机森林分类器，将每个属性分类器的真正率（TPR）和假负率（FNR）作为输入，构建决策节点，从而提升对预测错误的鲁棒性。
• 通过概率模型引入类别-属性关联统计，通过考虑真实属性值与预测得分之间的依赖关系，扩展正确预测的概率。
• 使用联合概率模型：$ p(\hat{a}_m(\mathbf{x}), a_m(\mathbf{x}), A_k(m)) = p(\hat{a}_m(\mathbf{x}) \mid a_m(\mathbf{x})) \cdot p(a_m(\mathbf{x}) \mid A_k(m)) \cdot p(A_k(m)) $，以建模属性预测中的不确定性。
• 将数据增强限制为仅翻转属性签名中的正向位（基于交叉验证），因为真实数据中假阴性比假阳性更常见。
• 通过用指数噪声污染完美属性得分，对合成数据应用噪声建模，以模拟分类器不可靠性的不同水平。
• 通过基于正确预测可能性对属性签名进行重加权，将不确定性建模整合到训练过程中，从而有效模拟无限多个扰动的训练变体。

实验结果

研究问题

• RQ1 在新类别无任何训练图像的情况下，建模属性预测的可靠性是否能提升零样本识别性能？
• RQ2 在属性分类器中考虑错误模式（如高假阴性率）如何影响对未见类别的泛化能力？
• RQ3 在类别-属性关联中引入不确定性是否能带来优于标准零样本方法的性能，后者假设属性预测完全准确？
• RQ4 在少样本设置下，即每类仅有少量标注样本时，所提方法表现如何？
• RQ5 在何种情况下不确定性建模无法提升性能，原因是什么？

主要发现

• 所提方法在AwA、aPY和SUN数据集上显著优于标准零样本学习基线，通过显式建模属性预测的不可靠性。
• 在AwA数据集上，当使用噪声属性预测时，该方法相比基线DAP模型在零样本准确率上实现了12.3%的绝对提升。
• 在SUN数据集上，当每类有50–100张标注图像的少样本设置下，该方法优于100张样本的属性预测基线，表明即使在监督信息有限的情况下仍具有强大泛化能力。
• 当在SUN数据集上对属性注释的不确定性进行建模时，该方法表现欠佳，原因在于属性的类内变化较低——如'攀爬'或'室内'等属性在场景类别中具有高度一致性。
• 模型性能对假阴性率最为敏感；仅限制正向预测的位翻转（基于交叉验证）可获得最优结果，AwA数据集上15%的正向位被翻转，aPY数据集上为30%。
• 合成噪声实验表明，该方法对不断增加的分类器噪声具有鲁棒性，尤其在噪声具有属性特异性时，其性能在所有噪声条件下均优于标准方法。