[论文解读] Practical and Optimal LSH for Angular Distance

Alexandr Andoni, Piotr Indyk+3 more|TU/e Research Portal|Sep 9, 2015

Advanced Image and Video Retrieval Techniques参考文献 26被引用 212

一句话总结

本文提出了交叉多面体 LSH（Cross-Polytope LSH），一种针对单位球面上角距离的实用且最优的局部敏感哈希方案，在实现渐近最优查询时间指数 ρ = 1/(2c²−1) 的同时，实际性能优于超平面 LSH。该方法结合快速旋转与一种新型多探针策略，在真实和合成数据集上实现了显著加速，尤其在高维稀疏场景下表现突出。

ABSTRACT

We show the existence of a Locality-Sensitive Hashing (LSH) family for the angular distance that yields an approximate Near Neighbor Search algorithm with the asymptotically optimal running time exponent. Unlike earlier algorithms with this property (e.g., Spherical LSH [Andoni, Indyk, Nguyen, Razenshteyn 2014], [Andoni, Razenshteyn 2015]), our algorithm is also practical, improving upon the well-studied hyperplane LSH [Charikar, 2002] in practice. We also introduce a multiprobe version of this algorithm, and conduct experimental evaluation on real and synthetic data sets. We complement the above positive results with a fine-grained lower bound for the quality of any LSH family for angular distance. Our lower bound implies that the above LSH family exhibits a trade-off between evaluation time and quality that is close to optimal for a natural class of LSH functions.

研究动机与目标

• 弥合理论上最优的 LSH 方案与实际最近邻搜索性能之间在角距离上的差距。
• 设计一种局部敏感哈希族，实现余弦相似度的最优 ρ = 1/(2c²−1)，同时具备高效可计算性。
• 开发一种多探针扩展，提升检索效率而不损失理论最优性。
• 通过实证验证，在内存受限条件下，新 LSH 方案在真实世界与合成场景下均优于超平面 LSH。
• 建立角距离 LSH 质量的细粒度下界，证明所提方案的近似最优性。

提出的方法

• 基于随机旋转的交叉多面体（ℓ₁-范数单位球）提出一种新的 LSH 家族，适用于单位向量。
• 通过随机正交矩阵实现快速旋转，加速哈希计算，支持实际部署。
• 提出一种多探针策略，单张哈希表中查询多个候选桶，提升召回率而不增加存储空间。
• 在最终的 k 个哈希函数中使用部分交叉多面体，以平滑时间、空间与质量之间的权衡。
• 应用特征哈希技术，降低高维稀疏向量（如 tf-idf 数据）的计算时间。
• 在参数空间进行网格搜索，以在内存约束下（L=10）优化性能。

实验结果

研究问题

• RQ1 是否存在一种针对角距离的局部敏感哈希方案，既能实现理论最优性，又能具备实际效率？
• RQ2 是否存在一种实用的 LSH 家族，其性能与球面 LSH 的最优 ρ = 1/(2c²−1) 一致，且在实际中快于超平面 LSH？
• RQ3 多探针扩展在提升交叉多面体 LSH 的检索性能方面效果如何？
• RQ4 在角距离的 LSH 中，评估时间与质量之间的根本权衡是什么？一种方案能多接近这一权衡？
• RQ5 交叉多面体 LSH 在真实世界高维稀疏数据上是否优于超平面 LSH？

主要发现

• 在 n=2^28 且 d=128 的随机数据上，交叉多面体 LSH 相较于超平面 LSH 实现了 10.3 倍的加速，相较于线性扫描最高达 700 倍。
• 在 SIFT 数据集上（n=10^6，d=128），交叉多面体 LSH 比超平面 LSH 快 1.2 倍，提升有限，原因在于最近邻距离较小。
• 在高维 tf-idf 数据集（NYT 和 pubmed）上，交叉多面体 LSH 分别实现了 3.4 倍和 4.0 倍的加速，得益于高效的特征哈希与多探针优化。
• 在内存约束下（L=10），交叉多面体 LSH 的多探针变体比非多探针版本快 13 倍，使其在性能上可与超平面 LSH 竞争。
• 理论分析证实，交叉多面体 LSH 实现了最优的 ρ = 1/(2c²−1)，与球面 LSH 一致；细粒度下界分析表明其在自然 LSH 函数类中为近似最优。
• 通过在 NYT 和 pubmed 数据上分别使用 512 和 2048 维的特征哈希，显著降低了稀疏数据的哈希计算时间。