[论文解读] One Permutation Hashing for Efficient Search and Learning

Ping Li, Art B. Owen+1 more|arXiv (Cornell University)|Aug 6, 2012

Advanced Image and Video Retrieval Techniques参考文献 23被引用 8

一句话总结

本文提出了一种名为单重排列哈希（One Permutation Hashing, OPH）的新方法，用单个随机排列替代标准的k重排列最小哈希，将排列后的数据划分为k个桶，并仅存储每个桶中的最小非零索引。该方法在仅需1/k的预处理成本下，实现了与k重排列哈希相当或更优的准确率，且在webspam和news20等数据集上获得了理论与实证验证。

ABSTRACT

Recently, the method of b-bit minwise hashing has been applied to large-scale linear learning and sublinear time near-neighbor search. The major drawback of minwise hashing is the expensive preprocessing cost, as the method requires applying (e.g.,) k=200 to 500 permutations on the data. The testing time can also be expensive if a new data point (e.g., a new document or image) has not been processed, which might be a significant issue in user-facing applications. We develop a very simple solution based on one permutation hashing. Conceptually, given a massive binary data matrix, we permute the columns only once and divide the permuted columns evenly into k bins; and we simply store, for each data vector, the smallest nonzero location in each bin. The interesting probability analysis (which is validated by experiments) reveals that our one permutation scheme should perform very similarly to the original (k-permutation) minwise hashing. In fact, the one permutation scheme can be even slightly more accurate, due to the "sample-without-replacement" effect. Our experiments with training linear SVM and logistic regression on the webspam dataset demonstrate that this one permutation hashing scheme can achieve the same (or even slightly better) accuracies compared to the original k-permutation scheme. To test the robustness of our method, we also experiment with the small news20 dataset which is very sparse and has merely on average 500 nonzeros in each data vector. Interestingly, our one permutation scheme noticeably outperforms the k-permutation scheme when k is not too small on the news20 dataset. In summary, our method can achieve at least the same accuracy as the original k-permutation scheme, at merely 1/k of the original preprocessing cost.

研究动机与目标

• 解决大规模搜索与学习应用中k重排列最小哈希的高计算成本问题。
• 降低传统最小哈希方法中昂贵的预处理步骤，尤其是在k较大时（例如200–500个排列）。
• 开发一种更简单、更节能的替代方法，同时保持集合相似性与线性模型估计的准确性。
• 在包括稀疏与高维数据在内的多样化数据集上验证该方法的鲁棒性。
• 证明在特定条件下，单个排列可因‘无放回采样’效应而优于多个排列。

提出的方法

• 对二值数据矩阵的整个列空间 Ω = {0, 1, ..., D−1} 应用单个随机排列 π。
• 将排列后的列均匀划分为k个桶，并对每个数据向量，存储每个桶中最小的非零索引（即第一个1）的值。
• 利用两个向量在各桶中匹配的最小索引数量，作为相似度 R 的无偏估计。
• 推导出估计量 R̂ = N_mat / (k − N_emp)，其中 N_mat 表示具有匹配最小值的桶数，N_emp 表示联合为空的桶数。
• 该方法避免存储完整排列或高维投影，转而依赖紧凑的基于桶的最小值表示。
• 理论分析表明，该估计量的方差与k重排列最小哈希相当，且可能因无放回采样而进一步改善。

实验结果

研究问题

• RQ1 单个排列能否在估计集合相似性方面实现与k重排列最小哈希相当或更优的准确率？
• RQ2 单排列方案是否能在不损失估计准确率的前提下，将预处理成本降低为k分之一？
• RQ3 在非零元素受限于约500个/向量的稀疏数据集news20上，该方法表现如何？
• RQ4 与k重排列哈希中的独立同分布采样相比，OPH中的‘无放回采样’效应有何影响？
• RQ5 OPH方法能否有效应用于大规模学习任务，如线性SVM与逻辑回归？

主要发现

• 在webspam数据集上，当b=8且k=200–500时，OPH实现与k重排列最小哈希相当或略优的准确率。
• 在稀疏的news20数据集上，当k不过小时，OPH显著优于k重排列哈希，原因在于无放回采样带来的方差降低。
• 预处理成本降低至原始k重排列方法的1/k，且无需生成多个独立排列。
• 理论分析证实，估计量 R̂ = N_mat / (k − N_emp) 是无偏的，且其方差与k重排列最小哈希相当。
• 固定长度的OPH方案被证明足够且可能优于可变长度变体，因其导致更少的空桶，从而提升性能。
• 实证结果验证了OPH在不同数据稀疏度水平下的准确率保持能力，并在工业应用的真实数据特征下表现出鲁棒性。