[论文解读] Optimal Densification for Fast and Accurate Minwise Hashing

Anshumali Shrivastava|arXiv (Cornell University)|Mar 14, 2017

Advanced Image and Video Retrieval Techniques参考文献 24被引用 27

一句话总结

该论文提出了一种针对 minwise 哈希的最优稀疏化方案，其方差和碰撞概率与原始 minwise 哈希相同，同时保持了 $O(d + k)$ 的低计算成本，在稀疏数据上显著提升了准确率，优于以往的稀疏化方法。该方法使用经过精心设计的 2-通用哈希函数，消除了方差偏差。

ABSTRACT

Minwise hashing is a fundamental and one of the most successful hashing algorithm in the literature. Recent advances based on the idea of densification~\cite{Proc:OneHashLSH_ICML14,Proc:Shrivastava_UAI14} have shown that it is possible to compute $k$ minwise hashes, of a vector with $d$ nonzeros, in mere $(d + k)$ computations, a significant improvement over the classical $O(dk)$. These advances have led to an algorithmic improvement in the query complexity of traditional indexing algorithms based on minwise hashing. Unfortunately, the variance of the current densification techniques is unnecessarily high, which leads to significantly poor accuracy compared to vanilla minwise hashing, especially when the data is sparse. In this paper, we provide a novel densification scheme which relies on carefully tailored 2-universal hashes. We show that the proposed scheme is variance-optimal, and without losing the runtime efficiency, it is significantly more accurate than existing densification techniques. As a result, we obtain a significantly efficient hashing scheme which has the same variance and collision probability as minwise hashing. Experimental evaluations on real sparse and high-dimensional datasets validate our claims. We believe that given the significant advantages, our method will replace minwise hashing implementations in practice.

研究动机与目标

• 解决现有 minwise 哈希稀疏化技术中存在的高方差问题，该问题虽提升了运行时间效率，但降低了准确率。
• 开发一种稀疏化方案，使其理论方差与原始 minwise 哈希一致，同时保持计算效率。
• 通过消除稀疏化 sketch 中因方差导致的准确率下降，实现 minwise 哈希在大规模系统中的实际部署。
• 验证所提方法在多样化稀疏高维数据集上实现方差最优性能。

提出的方法

• 提出一种新颖的稀疏化方案，利用 2-通用哈希函数确保方差最优。
• 采用改进的一对一排列哈希框架，通过一次遍历非零元素，以 $O(d + k)$ 时间计算每个哈希值。
• 推导出一个理论方差公式（公式 19），其结果与实验结果一致，证明该方案具有方差最优性。
• 采用随机化哈希策略，避免昂贵的排列和取模操作，实现高速计算。
• 应用该方法生成 $k$ 个 minwise 哈希，方差偏差极小，且碰撞概率与 Jaccard 相似度完全一致。
• 采用两步哈希过程：首先，基础哈希将非零索引映射；其次，二级哈希确保值在桶中均匀分布。

实验结果

研究问题

• RQ1 能否设计一种稀疏化方案，使其方差与原始 minwise 哈希相同，同时保持 $O(d + k)$ 的运行时间？
• RQ2 与现有稀疏化技术相比，该方法是否显著降低了方差，尤其是在稀疏数据上？
• RQ3 所提方案的理论方差是否能在真实世界数据集上通过实证方法得到验证？
• RQ4 该方法是否在速度上优于传统 minwise 哈希，同时在准确率上优于以往的稀疏化方法？

主要发现

• 所提最优稀疏化方案的方差与原始 minwise 哈希无法区分，MSE 值与理论边界 $\frac{R(1-R)}{k}$ 完全匹配。
• 对于 RCV1 和 News20 等稀疏数据集，在 $k = 2^{14}$ 时，该方法相比现有稀疏化方案将 MSE 降低了 2–3 个数量级。
• 该方法保持了 $O(d + k)$ 的运行时间，使其在真实数据集上 $k = 300$ 时，比传统 minwise 哈希快 10–18 倍。
• 理论方差预测与实测估计值高度吻合，验证了所推导方差公式（公式 19）的正确性。
• 现有稀疏化方案表现出非零的极限方差，且随着 $k$ 增大，方差不会衰减，证实其非最优性。
• 使用最优稀疏化后，一对一排列哈希中的空桶数量显著减少，当 $k = 300$ 时，超过 90% 的桶被填满，从而支持高效索引与核学习。