[论文解读] Perceptual uniform descriptor and Ranking on manifold: A bridge between image representation and ranking for image retrieval

Shenglan Liu, Jun Wu+5 more|arXiv (Cornell University)|Sep 24, 2016

Image Retrieval and Classification Techniques参考文献 34被引用 9

一句话总结

本文提出感知均匀描述符（PUD），一种受格式塔心理学启发的整体图像描述符，通过结合颜色与梯度方向来增强视觉均匀性。通过利用流形学习与流形排序，PUD在基准数据集上实现了卓越的图像检索性能，mAP达到81.77%，N-S评分为3.58，优于当前最先进的整体描述符与局部描述符。

ABSTRACT

Incompatibility of image descriptor and ranking is always neglected in image retrieval. In this paper, manifold learning and Gestalt psychology theory are involved to solve the incompatibility problem. A new holistic descriptor called Perceptual Uniform Descriptor (PUD) based on Gestalt psychology is proposed, which combines color and gradient direction to imitate the human visual uniformity. PUD features in the same class images distributes on one manifold in most cases because PUD improves the visual uniformity of the traditional descriptors. Thus, we use manifold ranking and PUD to realize image retrieval. Experiments were carried out on five benchmark data sets, and the proposed method can greatly improve the accuracy of image retrieval. Our experimental results in the Ukbench and Corel-1K datasets demonstrated that N-S score reached to 3.58 (HSV 3.4) and mAP to 81.77% (ODBTC 77.9%) respectively by utilizing PUD which has only 280 dimension. The results are higher than other holistic image descriptors (even some local ones) and state-of-the-arts retrieval methods.

研究动机与目标

• 解决基于内容的图像检索中图像描述符与排序方法之间的不兼容性问题。
• 开发一种模仿人类视觉感知的整体图像描述符，通过感知均匀性实现。
• 通过将PUD与流形排序结合，弥合图像表征与排序之间的鸿沟，以提升检索性能。
• 证明描述符-排序兼容性可显著提升检索准确性。

提出的方法

• 提出感知均匀描述符（PUD），一种280维的整体描述符，结合颜色与梯度方向，以反映人类视觉均匀性。
• 采用流形学习（如LLE）可视化并验证PUD特征在流形上聚集，表明其具有结构一致性。
• 应用流形排序（MR）通过图矩阵传播相关性得分，利用局部流形结构进行排序。
• 采用基于图的排序方法，利用矩阵S在相似样本间传播查询相关性，从而在精度上优于基于范数的方法。
• 将PUD与流形排序集成，构建统一的图像检索框架，确保表征与排序之间的兼容性。
• 使用基准数据集（Ukbench、Corel-1K、Coil-100、Cifar-10）在多样化图像分布上评估性能。

实验结果

研究问题

• RQ1 基于格式塔心理学的整体图像描述符是否能实现优于传统描述符的感知均匀性？
• RQ2 PUD与流形排序的结合是否优于基于范数的排序方法及其他最先进方法？
• RQ3 描述符-排序兼容性在多大程度上提升了图像检索准确性？
• RQ4 为何在某些情况下流形排序优于基于范数的排序，特别是其在保持空间与感知关系方面的优势？

主要发现

• 在Corel-1K上，PUD的mAP达到81.77%，显著优于ODTBC（77.9%）及其他整体描述符。
• 在Ukbench上，PUD-MR1的N-S评分为3.58，优于HSV（3.40）与LBP（1.84），表明其在流形排序中表现强劲。
• 在Cifar-10上，PUD-MR2在400次返回结果中的平均精度达到32.65%，优于CNN（29.66%）与PUD-SBML（27.55%）。
• 通过LLE生成的可视化结果表明，PUD特征形成的流形比LBP、HSV、MSD与CDH更紧密、更均匀。
• 流形排序优于基于范数的方法，因其通过图结构传播相关性，从而减少误报。
• PUD与流形排序的结合在五个基准数据集上均表现出卓越性能，证明了描述符-排序兼容性的关键作用。