[论文解读] Texture and Color-based Image Retrieval Using the Local Extrema Features and Riemannian Distance

Minh‐Tan Pham, Grégoire Mercier+2 more|arXiv (Cornell University)|Nov 7, 2016

Image Retrieval and Classification Techniques参考文献 31被引用 5

一句话总结

本文提出了一种新颖的内容感知图像检索（CBIR）方法，通过在关键点位置提取基于局部极值的描述符（LED），将纹理和颜色特征相结合。通过将图像建模为LED的点云，并计算其底层流形之间的黎曼距离，该方法在Vistex、Stex和彩色Brodatz数据库上实现了最先进性能。

ABSTRACT

A novel efficient method for content-based image retrieval (CBIR) is developed in this paper using both texture and color features. Our motivation is to represent and characterize an input image by a set of local descriptors extracted at characteristic points (i.e. keypoints) within the image. Then, dissimilarity measure between images is calculated based on the geometric distance between the topological feature spaces (i.e. manifolds) formed by the sets of local descriptors generated from these images. In this work, we propose to extract and use the local extrema pixels as our feature points. Then, the so-called local extrema-based descriptor (LED) is generated for each keypoint by integrating all color, spatial as well as gradient information captured by a set of its nearest local extrema. Hence, each image is encoded by a LED feature point cloud and riemannian distances between these point clouds enable us to tackle CBIR. Experiments performed on Vistex, Stex and colored Brodatz texture databases using the proposed approach provide very efficient and competitive results compared to the state-of-the-art methods.

研究动机与目标

• 通过整合纹理和颜色特征以实现更鲁棒的图像表示，从而提升内容感知图像检索（CBIR）的性能。
• 解决现有方法依赖全局特征或判别性较弱的局部描述符的局限性。
• 通过特征空间中的几何关系建模图像相似性，利用局部描述符流形的拓扑结构。
• 开发一种在标准纹理数据库上与最先进方法相媲美且高效的方法。

提出的方法

• 在图像中识别局部极值像素作为关键点，作为特征提取的基础。
• 对于每个关键点，通过聚合其最近邻局部极值的颜色、空间和梯度信息，构建局部极值基描述符（LED）。
• 每幅图像被表示为LED的点云，形成一个拓扑特征空间（流形）。
• 通过计算两幅图像流形之间的黎曼距离来计算图像差异性，从而捕捉非线性几何关系。
• 该方法利用特征空间的内在结构以提高检索准确性。
• 该方法设计高效且可扩展，适用于大规模图像检索任务。

实验结果

研究问题

• RQ1 基于局部极值的描述符是否能有效捕捉纹理和颜色信息以用于图像检索？
• RQ2 基于LED流形的黎曼距离与传统距离度量在CBIR中的表现相比如何？
• RQ3 在LED中结合颜色、空间和梯度线索在多大程度上提升了检索性能？
• RQ4 所提出的方法在标准纹理数据库上与最先进CBIR技术相比表现如何？

主要发现

• 所提方法在Vistex、Stex和彩色Brodatz纹理数据库上实现了极具竞争力的检索性能。
• 在LED描述符中整合颜色、空间和梯度信息显著增强了判别能力。
• 基于LED流形的黎曼距离比传统度量提供了更有效的图像相似性度量。
• 使用局部极值作为关键点可为纹理丰富的图像提供鲁棒且有意义的特征表示。
• 该方法表现出高效性和可扩展性，适用于实际的CBIR应用。
• 实验结果证实，所提方法在标准基准测试中优于或匹配了最先进方法。