[论文解读] Unsupervised Feature Learning for low-level Local Image Descriptors

Christian Osendorfer, Justin Bayer+2 more|arXiv (Cornell University)|Jan 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 42被引用 4

一句话总结

本文评估了无监督特征学习方法——特别是限制玻尔兹曼机（RBMs）——在无任何监督的情况下学习低层次局部图像描述符的能力。均值协方差RBMs（mcRBM）学习到实数值且紧凑的二值描述符，在对应匹配基准测试中表现达到或超过当前最先进的手工设计描述符，表明无监督学习能够有效捕捉计算机视觉任务中具有判别性的低层次特征。

ABSTRACT

Unsupervised feature learning has shown impressive results for a wide range of input modalities, in particular for object classification tasks in computer vision. Using a large amount of unlabeled data, unsupervised feature learning methods are utilized to construct high-level representations that are discriminative enough for subsequently trained supervised classification algorithms. However, it has never been \emph{quantitatively} investigated yet how well unsupervised learning methods can find \emph{low-level representations} for image patches without any additional supervision. In this paper we examine the performance of pure unsupervised methods on a low-level correspondence task, a problem that is central to many Computer Vision applications. We find that a special type of Restricted Boltzmann Machines (RBMs) performs comparably to hand-crafted descriptors. Additionally, a simple binarization scheme produces compact representations that perform better than several state-of-the-art descriptors.

研究动机与目标

• 直接在低层次图像描述符任务上评估无监督特征学习方法，避免依赖后续的有监督分类。
• 评估无监督方法是否能够学习到在对应匹配任务中具有竞争力的局部图像描述符，该任务是计算机视觉中的核心任务。
• 探究无监督学习是否能够生成紧凑且高性能的描述符，与SIFT或SURF等手工设计描述符相媲美。
• 在具有不同光照、视角和尺度的图像块真实数据集上对无监督模型进行基准测试。
• 探索二值化方案在从学习到的特征中生成高效、低比特表示方面的潜力。

提出的方法

• 在来自三个真实场景的150万个64×64图像块的大数据集上，训练高斯RBMs（GRBM）、稀疏GRBM（spGRBM）和均值协方差RBMs（mcRBM）。
• 采用一种简单的启发式方法对mcRBM激活值进行二值化：使用整个训练集中所有隐藏单元激活值直方图的中位数作为阈值。
• 将mcRBM应用于学习以关键点为中心的滤波器，其形态类似于对数极坐标或Gabor样模式，且空间结构受关键点位置的影响。
• 使用包含标记为正负样本对的图像块数据集，在对应匹配任务上评估模型性能。
• 采用两层架构（含64个可见单元和576个隐藏单元的mcRBM）以学习适合匹配任务的紧凑表示。
• 采用RMSProp进行优化，其性能优于标准随机梯度下降。

实验结果

研究问题

• RQ1 无监督特征学习方法是否能在无任何监督的情况下，生成与手工设计描述符相媲美的低层次图像描述符？
• RQ2 不同类型的RBMs——GRBM、spGRBM和mcRBM——在直接对应匹配任务上的表现如何？
• RQ3 一种简单的二值化方案是否能从无监督特征中生成紧凑且高性能的描述符？
• RQ4 无监督模型学习到的滤波器是否与当前最先进的描述符中使用的已知有效滤波器模式相似？
• RQ5 无监督学习是否能有效捕捉关键点周围的结构，如对数极坐标或Gabor样模式？

主要发现

• 均值协方差RBMs（mcRBM）生成的实数值描述符在对应匹配任务中的表现与SIFT等手工设计描述符相当。
• 基于激活值中位数的简单二值化方案生成的64位二进制描述符，优于多种当前最先进的手工设计描述符。
• mcRBM学习到的滤波器在关键点位于中心时，表现出类似于对数极坐标和Gabor样模式的形态，表明其具备有效的空间建模能力。
• 即使引入非线性激活函数并使用RMSProp优化，spGRBM和GRBM模型也未能生成具有竞争力的紧凑表示。
• 当投影矩阵P的拓扑结构固定时，mcRBM系统性地在关键点周围排列出类似Gabor的滤波器，表明其具备结构化的空间学习能力。
• 在Half Dome数据集上的表现欠佳，表明应学习缩放因子而非固定它们。