[论文解读] Stochastic Generative Hashing

Bo Dai, Ruiqi Guo+3 more|arXiv (Cornell University)|Jan 11, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用 14

一句话总结

本文提出随机生成哈希（Stochastic Generative Hashing, SGH），一种新颖的生成式框架，通过最小描述长度（Minimum Description Length, MDL）原则优化数据压缩，以学习二进制哈希函数。通过联合建模编码（输入到哈希码）与解码（哈希码到输入重建）过程，SGH 避免了启发式目标函数与二值约束松弛，采用随机分布梯度方法联合训练哈希函数与生成模型，在 MNIST、SIFT-1M 和 GIST-1M 等大规模数据集上实现了最先进检索性能。

ABSTRACT

Learning-based binary hashing has become a powerful paradigm for fast search and retrieval in massive databases. However, due to the requirement of discrete outputs for the hash functions, learning such functions is known to be very challenging. In addition, the objective functions adopted by existing hashing techniques are mostly chosen heuristically. In this paper, we propose a novel generative approach to learn hash functions through Minimum Description Length principle such that the learned hash codes maximally compress the dataset and can also be used to regenerate the inputs. We also develop an efficient learning algorithm based on the stochastic distributional gradient, which avoids the notorious difficulty caused by binary output constraints, to jointly optimize the parameters of the hash function and the associated generative model. Extensive experiments on a variety of large-scale datasets show that the proposed method achieves better retrieval results than the existing state-of-the-art methods.

研究动机与目标

• 为解决现有基于学习的哈希方法中缺乏原则性目标函数的问题，这些方法通常依赖启发式策略且缺乏理论基础。
• 克服哈希函数学习中优化离散二进制输出的困难，该过程通常需要对二值约束进行启发式松弛。
• 开发一个统一框架，同时建模前向（输入到哈希码）与反向（哈希码到输入重建）过程，以提升表征学习效果。
• 通过随机分布梯度下降实现高效端到端训练，避免离散优化挑战。
• 在极少超参数调优下实现最先进检索性能，同时保持从哈希码高质量重建输入的能力。

提出的方法

• 该方法将哈希建模为生成建模问题，基于 MDL 原理，联合学习编码的条件分布 $ q(h|x) $ 与解码的分布 $ p(x|h) $。
• 采用一种随机分布梯度下降算法，通过重参数化与分布导数技术，为离散变量计算无偏梯度估计。
• 模型使用简单而有效的生成模型 $ p(x|h) $（如高斯混合模型或线性解码器），从二进制码重建输入。
• 哈希函数由学习得到的 $ q(h|x) $ 导出，其目标是最小化在生成模型下数据集的描述长度。
• 该框架通过直接在离散码的概率分布上进行优化，避免了二值松弛，从而实现整个系统的可微分训练。
• 该方法可扩展至无监督与半监督设置，具备适应不同数据类型与生成模型的灵活性。

实验结果

研究问题

• RQ1 基于 MDL 的原则化生成框架是否能相比启发式目标函数，显著提升所学习二进制哈希函数的质量？
• RQ2 随机分布梯度下降是否能有效优化离散二进制码，而无需依赖松弛技术？
• RQ3 联合学习编码与解码过程是否能带来更优的检索性能与重建质量？
• RQ4 在检索准确率与超参数调优鲁棒性方面，该方法与最先进哈希方法相比表现如何？
• RQ5 通过视觉检查生成模板，所学习的哈希码是否具有可解释性，表明其比特表示非冗余且语义有意义？

主要发现

• SGH 在 MNIST、SIFT-1M、GIST-1M 与 SIFT-1B 上的 L2NNS 任务中均达到最先进性能，持续优于 ITQ、PCA 与二值自编码器等现有方法。
• 在包含 64 位码的 SIFT-1B 数据集上，SGH 实现 Recall10@1000 达 92.3%，显著领先于次优方法超过 5 个百分点。
• 该方法展现出更优的重建质量：SGH 在 MNIST 与 CIFAR-10 上生成的图像在视觉上更清晰、更易识别，即使 ITQ 使用了 32 倍的比特数进行重建。
• SGH 仅用 64 位码即可实现与 PCA 使用 2048 位码（32 倍）相当的重建质量，证明了其极高的压缩效率。
• 与基线方法相比，该模型对超参数调优的敏感度更低，在所有实验中均使用固定的初始学习率与批量大小，仍能保持强大性能。
• 对学习模板的视觉检查表明，每个比特均编码了独特且有意义的特征，类似卷积滤波器，表明代码使用高效且非冗余。