[论文解读] Probabilistic Label Relation Graphs with Ising Models

Nan Ding, Jia Deng+2 more|arXiv (Cornell University)|Mar 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 22被引用 6

一句话总结

该论文提出了pHEX，即HEX模型的概率扩展，通过伊辛模型将硬标签关系（层次、排斥）推广为软的、不确定的关系。通过将pHEX图转化为伊辛模型，可利用现成的推理工具（如信念传播）实现高效推理，在视觉物体分类和零样本学习任务中达到最先进性能，显著优于原始HEX模型。

ABSTRACT

We consider classification problems in which the label space has structure. A common example is hierarchical label spaces, corresponding to the case where one label subsumes another (e.g., animal subsumes dog). But labels can also be mutually exclusive (e.g., dog vs cat) or unrelated (e.g., furry, carnivore). To jointly model hierarchy and exclusion relations, the notion of a HEX (hierarchy and exclusion) graph was introduced in [7]. This combined a conditional random field (CRF) with a deep neural network (DNN), resulting in state of the art results when applied to visual object classification problems where the training labels were drawn from different levels of the ImageNet hierarchy (e.g., an image might be labeled with the basic level category "dog", rather than the more specific label "husky"). In this paper, we extend the HEX model to allow for soft or probabilistic relations between labels, which is useful when there is uncertainty about the relationship between two labels (e.g., an antelope is "sort of" furry, but not to the same degree as a grizzly bear). We call our new model pHEX, for probabilistic HEX. We show that the pHEX graph can be converted to an Ising model, which allows us to use existing off-the-shelf inference methods (in contrast to the HEX method, which needed specialized inference algorithms). Experimental results show significant improvements in a number of large-scale visual object classification tasks, outperforming the previous HEX model.

研究动机与目标

• 解决现有模型（如HEX）中硬标签关系的局限性，后者假设标签之间存在确定性约束。
• 将现实世界中的标签关系建模为概率性或软约束，反映语义关系中的不确定性（例如，'有点毛茸茸'）。
• 通过将pHEX模型转化为伊辛模型，实现在结构化标签空间中的高效推理。
• 通过在标签关系中引入不确定性，提升视觉物体分类和零样本学习的性能。

提出的方法

• pHEX模型通过允许二值标签变量之间的概率关系，扩展了HEX框架，将确定性约束替换为软的、参数化的相互作用。
• 标签关系通过伊辛模型建模，其中能量函数通过交互系数编码关系的强度和类型（层次、排斥或无关系）。
• 模型使用参数$ u $控制对标签关系的信心：$ u $较低表示高不确定性（软关系），$ u $较高则趋近于确定性HEX行为。
• 推理使用标准伊辛模型求解器（如信念传播或量子退火）执行，避免了原始HEX模型所需的定制化推理算法。
• pHEX模型与深度神经网络集成，其中DNN提供特征，pHEX图施加结构化标签约束。
• 模型支持恒定和可变的软关系，其中可变关系基于连续属性值（如'毛茸程度'）生成，提升了迁移学习性能。

实验结果

研究问题

• RQ1 与HEX模型中的确定性关系相比，概率性标签关系是否能提升视觉物体分类的性能？
• RQ2 pHEX模型是否能通过标准伊辛模型求解器实现高效推理，从而避免对专用推理算法的需求？
• RQ3 与恒定软关系相比，基于连续属性值的可变软关系是否能提升零样本学习中的性能？
• RQ4 标签关系中的不确定性水平（由参数$ u $控制）如何影响模型性能？
• RQ5 pHEX模型能否在统一框架中处理混合标签类型，如二值标签和$ k $-元标签？

主要发现

• pHEX在大规模视觉物体分类任务中显著优于原始HEX模型，性能提升归因于对软标签关系的建模。
• 在Animals with Attributes数据集的零样本学习中，采用可变软关系的pHEX相比恒定软关系提升了2%准确率，并优于HEX模型。
• 在VOC/Yahoo数据集中，采用可变软关系的pHEX相比恒定软关系提升了1%准确率，并超越了HEX基线。
• pHEX的最优关系强度参数$ u $在Animals with Attributes数据集中位于$[0.1, 1.5]$区间，在VOC/Yahoo数据集中位于$[0.3, 1.0]$区间，此时性能在5%显著性水平下显著优于HEX。
• pHEX的推理时间与HEX相当，且由于其伊辛模型的公式化结构，支持使用高级求解器（如量子退火）。
• 当$ u $过大（如$ u=1.5 $）时，pHEX性能下降，可能是因为在软约束模式下无法进行精确推理，表明不确定性与推理能力之间存在权衡。