[论文解读] SuperMinHash - A New Minwise Hashing Algorithm for Jaccard Similarity Estimation

Otmar Ertl|arXiv (Cornell University)|Jun 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 9被引用 12

一句话总结

本文提出 SuperMinHash，一种新型的 minwise 哈希算法，通过降低估计器方差并提升运行时效率，改进了 MinHash。通过采用参数化均匀性的分层哈希结构，SuperMinHash 在保持线性遍历性能的同时，实现了更低的 Jaccard 相似度估计方差，在大规模集合相似度任务中，其精度和可扩展性均优于 MinHash 及以往的替代方案。

ABSTRACT

This paper presents a new algorithm for calculating hash signatures of sets which can be directly used for Jaccard similarity estimation. The new approach is an improvement over the MinHash algorithm, because it has a better runtime behavior and the resulting signatures allow a more precise estimation of the Jaccard index.

研究动机与目标

• 解决 MinHash 及现有 minwise 哈希方法在 Jaccard 相似度估计中的估计器方差和计算效率方面的局限性。
• 设计一种流式友好的算法，尤其在小规模和中等规模集合中保持低方差和高精度。
• 将 Jaccard 指数估计器的方差降低至低于 MinHash 和 one-permutation hashing 的水平，同时保持单遍处理能力。
• 实现高效的签名计算与合并，用于并集操作，克服密集化哈希方案的局限性。

提出的方法

• SuperMinHash 使用分层哈希结构，其中每个哈希值均来自一个由均匀性参数 u 参数化的值域上的均匀分布。
• 该算法通过从一组均匀分布的随机值中选取最小哈希值来计算签名值，且分布经过调整以降低 Jaccard 估计器的方差。
• 它采用递归构造哈希函数的方法，确保跨集合的签名值匹配概率等于 Jaccard 指数，同时最小化不同哈希位置之间的协方差。
• 该方法使用修改后的区间上均匀分布以控制集合间的碰撞概率，从而导出依赖于签名大小 m 和均匀性参数 u 的函数 α(m,u) 的方差公式。
• 该算法设计为单遍流式算法，可高效处理大规模或内存中的数据集。
• 通过确保所有签名位置均可确定性计算，避免了密集化问题，保持了估计器偏差，并支持对签名进行并集操作。

实验结果

研究问题

• RQ1 能否设计一种 minwise 哈希算法，在保持线性时间复杂度的同时，使 Jaccard 相似度估计的方差低于 MinHash？
• RQ2 SuperMinHash 中 Jaccard 估计器的方差在不同数据集大小下，与 MinHash 和 one-permutation hashing 相比如何？
• RQ3 能否构建一种单遍流式算法，在避免密集化签名精度损失的同时，保持低计算成本？
• RQ4 对于给定的签名大小 m，均匀性参数 u 的最优参数化是什么，以最小化估计器方差？

主要发现

• 由于方差因子 α(m,u) 小于 1，SuperMinHash 中 Jaccard 指数估计器的方差严格低于相同签名大小 m 下的 MinHash。
• SuperMinHash 中的估计器方差由公式 Var(Ĵ) = J(1−J)/m × α(m,u) 给出，其中 α(m,u) < 1，证明其方差严格优于 MinHash 的方差 J(1−J)/m。
• 对于 |D| ≪ m 的小数据集，SuperMinHash 的精度高于密集化 one-permutation 哈希，后者存在二次方时间复杂度和精度下降的问题。
• 该算法实现了 O(n + m log²m) 的时间复杂度，对于大 m 的情况显著优于 MinHash 的 O(mn)，同时在小数据集上仍具竞争力。
• 与密集化哈希方案不同，SuperMinHash 的签名可直接合并以计算并集集合的签名，且保持估计器的性质。
• 该方法是可证明无偏的，并保持关键性质：P(hj(A) = hj(B)) = J，确保估计器保持有效且一致。