[论文解读] Simple average-case lower bounds for approximate near-neighbor from isoperimetric inequalities

Yitong Yin|arXiv (Cornell University)|Feb 17, 2016

Face and Expression Recognition参考文献 17被引用 3

一句话总结

该论文首次建立了确定性或拉斯维加斯随机化算法在高维汉明空间中解决近似最近邻（ANN）问题的平均情况单元探测下界。通过将ANN复杂度与度量空间中的等周不等式联系起来，并利用基于单元采样的强化丰富性引理，证明了预期单元探测复杂度的 Ω(d / log(swγ²/(nd))) 下界，该下界与目前已知最强的最坏情况边界一致。

ABSTRACT

We prove an $Ω(d/\log \frac{sw}{nd})$ lower bound for the average-case cell-probe complexity of deterministic or Las Vegas randomized algorithms solving approximate near-neighbor (ANN) problem in $d$-dimensional Hamming space in the cell-probe model with $w$-bit cells, using a table of size $s$. This lower bound matches the highest known worst-case cell-probe lower bounds for any static data structure problems. This average-case cell-probe lower bound is proved in a general framework which relates the cell-probe complexity of ANN to isoperimetric inequalities in the underlying metric space. A tighter connection between ANN lower bounds and isoperimetric inequalities is established by a stronger richness lemma proved by cell-sampling techniques.

研究动机与目标

• 填补对确定性或拉斯维加斯随机化算法在近似最近邻（ANN）搜索中平均情况复杂度理解的空白。
• 在均匀且独立的输入分布下，为高维汉明空间中的ANN建立紧致的下界。
• 构建一个通用框架，将ANN的单元探测复杂度与底层度量空间的等周性质联系起来。
• 通过单元采样将丰富性引理技术扩展至平均情况设置，实现更强的下界。
• 在平均情况设置下，使ANN的单元探测下界与目前已知的最坏情况边界相匹配。

提出的方法

• 形式化一个通用框架，将ANN的单元探测复杂度与度量空间中的等周不等式联系起来。
• 通过单元采样技术引入一个强化的丰富性引理，以处理拉斯维加斯和确定性算法中可变的查询时间。
• 将该框架应用于 d 维汉明空间 {0,1}^d，数据库和查询均采用均匀输入分布。
• 利用切尔诺夫不等式和哈珀定理，建立在均匀测度下 λ-邻域的展开性质。
• 通过结合展开性质与广义丰富性引理推导下界，得到预期单元探测的 Ω(d / log(swγ²/(nd))) 下界。
• 通过使用具有重尾坐标的分布 μ，将该方法扩展至 ℓ∞-范数空间，在特定参数范围内证明了 sw = n^{Ω(ρ/t)} 的下界。

实验结果

研究问题

• RQ1 能否为确定性或拉斯维加斯随机化算法在近似最近邻搜索中建立紧致的平均情况单元探测下界？
• RQ2 ANN的单元探测复杂度如何与底层度量空间的等周性质相关联？
• RQ3 丰富性引理技术能否适应查询时间因输入而异的平均情况复杂度？
• RQ4 在均匀输入分布下，高维汉明空间中ANN的空间、字长与查询时间之间的最优权衡是什么？
• RQ5 该框架能否扩展至其他范数（如 ℓ∞）及非均匀输入分布？

主要发现

• 为在 d 维汉明空间中解决 (γ,λ)-ANN 的确定性或拉斯维加斯随机化算法，建立了预期单元探测复杂度的 Ω(d / log(swγ²/(nd))) 下界。
• 该下界与目前已知最强的静态数据结构问题最坏情况单元探测下界一致，填补了平均情况复杂度领域长期存在的空白。
• 该框架证明了在均匀测度下，汉明空间中的 λ-邻域具有 (Φ,Ψ)-展开性，其中 Φ=Ψ=2^{Ω(d/γ²)}，从而通过等周性实现强下界。
• 对于具有特定重尾分布 μ 的 ℓ∞-范数空间，在 t ≤ ρ 且 w ≤ n^{1−2δ} 的条件下，推导出 sw = n^{Ω(ρ/t)} 的下界。
• 结果表明，即使存在随机化和近似，除非空间随 n 超多项式增长（固定 t），否则高维空间中的 ANN 依然困难。
• 通过单元采样和强化丰富性引理的证明技术，首次实现了具有可变查询时间算法的平均情况下界，扩展了以往仅限于固定最坏情况复杂度的研究。