[论文解读] Tradeoffs for nearest neighbors on the sphere

Thijs Laarhoven|arXiv (Cornell University)|Nov 24, 2015

Computational Geometry and Mesh Generation参考文献 17被引用 12

一句话总结

该论文提出了一种基于球面滤波器的近似最近邻搜索在球面上的新型权衡框架，优化了查询与更新复杂度之间的平衡。它推导出一个涉及近似因子 $c$、查询指数 $ ho_{ ext{q}}$ 和更新指数 $ ho_{ ext{u}}$ 的紧密权衡方程，实现了渐近最优性能，与已知的下界一致，并优于以往基于LSH的方法，尤其在稀疏场景和大 $c$ 情况下表现更优。

ABSTRACT

We consider tradeoffs between the query and update complexities for the (approximate) nearest neighbor problem on the sphere, extending the recent spherical filters to sparse regimes and generalizing the scheme and analysis to account for different tradeoffs. In a nutshell, for the sparse regime the tradeoff between the query complexity $n^{ρ_q}$ and update complexity $n^{ρ_u}$ for data sets of size $n$ is given by the following equation in terms of the approximation factor $c$ and the exponents $ρ_q$ and $ρ_u$: $$c^2\sqrt{ρ_q}+(c^2-1)\sqrt{ρ_u}=\sqrt{2c^2-1}.$$ For small $c=1+ε$, minimizing the time for updates leads to a linear space complexity at the cost of a query time complexity $n^{1-4ε^2}$. Balancing the query and update costs leads to optimal complexities $n^{1/(2c^2-1)}$, matching bounds from [Andoni-Razenshteyn, 2015] and [Dubiner, IEEE-TIT'10] and matching the asymptotic complexities of [Andoni-Razenshteyn, STOC'15] and [Andoni-Indyk-Laarhoven-Razenshteyn-Schmidt, NIPS'15]. A subpolynomial query time complexity $n^{o(1)}$ can be achieved at the cost of a space complexity of the order $n^{1/(4ε^2)}$, matching the bound $n^{Ω(1/ε^2)}$ of [Andoni-Indyk-Patrascu, FOCS'06] and [Panigrahy-Talwar-Wieder, FOCS'10] and improving upon results of [Indyk-Motwani, STOC'98] and [Kushilevitz-Ostrovsky-Rabani, STOC'98]. For large $c$, minimizing the update complexity results in a query complexity of $n^{2/c^2+O(1/c^4)}$, improving upon the related exponent for large $c$ of [Kapralov, PODS'15] by a factor $2$, and matching the bound $n^{Ω(1/c^2)}$ of [Panigrahy-Talwar-Wieder, FOCS'08]. Balancing the costs leads to optimal complexities $n^{1/(2c^2-1)}$, while a minimum query time complexity can be achieved with update complexity $n^{2/c^2+O(1/c^4)}$, improving upon the previous best exponents of Kapralov by a factor $2$.

研究动机与目标

• 解决在球面上近似最近邻搜索中查询与更新复杂度之间的权衡，特别是在稀疏数据场景下。
• 将球面滤波技术扩展至改进现有局部敏感哈希（LSH）方法在查询时间和空间效率方面的表现。
• 为给定的近似因子 $c$ 推导出查询（$n^{ ho_{ ext{q}}}$）与更新（$n^{ ho_{ ext{u}}}$）复杂度之间的紧密解析权衡。
• 在高维空间中近似最近邻搜索的已知下界范围内实现匹配或超越。
• 探索将球面滤波器与高效哈希方案（如交叉单纯形LSH）结合的可行性，以降低解码开销。

提出的方法

• 提出一种球面滤波框架，将数据点映射到球面帽上，实现在无需完全划分空间的情况下高效过滤候选点。
• 使用级联码 $C = C_1 \times \cdots \times C_m$ 构建具有可控覆盖半径的滤波器，确保搜索过程中无误报。
• 推导出一个关键权衡方程：$ c^{2}\sqrt{\rho_{\text{q}}} + (c^{2}-1)\sqrt{\rho_{\text{u}}} = \sqrt{2c^{2}-1} $，该方程控制查询与更新复杂度之间的平衡。
• 分析该权衡在小 $c$ 和大 $c$ 情况下的渐近行为，通过匹配已知下界证明其在两种情形下均达到最优。
• 利用稀疏子码（如基于Leech格的或随机稀疏码）降低解码复杂度，同时保持性能。
• 将该框架应用于球面上的随机场景，其中假设数据点的角距离服从 $c$ 的分布，并据此推导性能界限。

实验结果

研究问题

• RQ1 使用球面滤波器在球面上进行近似最近邻搜索时，查询与更新复杂度之间的最优权衡是什么？
• RQ2 所提出的权衡与高维空间中近似最近邻搜索的已知下界相比如何？
• RQ3 该权衡能否被优化以实现亚多项式查询时间且空间开销最小？与先前的LSH方法相比表现如何？
• RQ4 所推导的权衡是否最优？能否通过理论界限或猜想证明其紧致性？
• RQ5 球面滤波器能否与高效哈希方案（如交叉单纯形LSH）结合，以降低解码复杂度，同时保持渐近最优性？

主要发现

• 所提出的权衡方程 $ c^{2}\sqrt{\rho_{\text{q}}} + (c^{2}-1)\sqrt{\rho_{\text{u}}} = \sqrt{2c^{2}-1} $ 描述了球面近似最近邻搜索中查询与更新复杂度之间的最优平衡。
• 当 $c = 1 + \varepsilon$ 时，平衡查询与更新成本可实现 $n^{1/(2c^2 - 1)}$ 的复杂度，与Andoni和Razenshteyn（2015）以及Dubiner（2010）的下界一致。
• 可实现亚多项式查询时间 $n^{o(1)}$，代价为空间复杂度 $n^{1/(4\varepsilon^2)}$，与Panigrahy等人（2008, 2010）的下界 $n^{\Omega(1/\varepsilon^2)}$ 一致。
• 当 $c$ 较大时，最小化更新复杂度可使查询复杂度达到 $n^{2/c^2 + O(1/c^4)}$，相比Kapralov（2015）在指数上提高了两倍。
• 平衡查询与更新成本可实现 $n^{1/(2c^2 - 1)}$ 量级的最优复杂度，与已知下界一致，并优于以往的LSH方案。
• 该框架在稀疏和稠密两种场景下均实现了渐近最优性，且该权衡被推测为信息论意义上的最优，提出了一个涉及 $\sqrt{\rho_{\text{q}}} + \sqrt{\rho_{\text{u}}} \cos\theta \geq \sin\theta$ 的猜想。