[论文解读] Near Neighbor: Who is the Fairest of Them All?

Sariel Har-Peled, Sepideh Mahabadi|arXiv (Cornell University)|Jun 6, 2019

Optimization and Search Problems参考文献 37被引用 4

一句话总结

本文提出了一种公平的近邻问题变体，其中查询点周围距离在 $ r $ 以内的任意点均被均匀随机选择，避免了对较近点的偏好。通过使用改进的局部敏感哈希（LSH）方法结合度数近似技术，该方法实现了近乎均匀的采样，查询时间与 $ O(\mathrm{dns}(q,r) \cdot \mathcal{Q}(n,c)) $ 成比例，与标准采样方法相比，在均匀性统计距离方面最高可提升10倍。

ABSTRACT

$ ewcommand{\ball}{\mathbb{B}} ewcommand{\dsQ}{\mathcal{Q}} ewcommand{\dsS}{\mathcal{S}}$In this work we study a fair variant of the near neighbor problem. Namely, given a set of $n$ points $P$ and a parameter $r$, the goal is to preprocess the points, such that given a query point $q$, any point in the $r$-neighborhood of the query, i.e., $\ball(q,r)$, have the same probability of being reported as the near neighbor. We show that LSH based algorithms can be made fair, without a significant loss in efficiency. Specifically, we show an algorithm that reports a point in the $r$-neighborhood of a query $q$ with almost uniform probability. The query time is proportional to $O\bigl( \mathrm{dns}(q.r) \dsQ(n,c) \bigr)$, and its space is $O(\dsS(n,c))$, where $\dsQ(n,c)$ and $\dsS(n,c)$ are the query time and space of an LSH algorithm for $c$-approximate near neighbor, and $\mathrm{dns}(q,r)$ is a function of the local density around $q$. Our approach works more generally for sampling uniformly from a sub-collection of sets of a given collection and can be used in a few other applications. Finally, we run experiments to show performance of our approach on real data.

研究动机与目标

• 解决数据结构在近邻查询中对较近点的偏好所导致的选择偏差问题。
• 设计一种数据结构，能够在不显式枚举所有邻居的情况下，从查询点的 $ r $-邻域中返回一个均匀随机的点。
• 在效率上与标准LSH保持可比性的同时，确保查询响应的个体公平性。
• 使用均匀性统计距离作为公平性度量，在真实数据集上评估该方法的性能。

提出的方法

• 通过估计查询点所在桶中每个点的度数（哈希碰撞次数），将LSH改进为从 $ r $-邻域中实现均匀采样。
• 采用一种度数近似技术，通过从桶中采样并估计碰撞概率的倒数来加权选择。
• 引入一种拒绝采样策略，通过根据估计的度数调整选择概率，确保采样均匀性。
• 利用多个LSH函数以提高碰撞概率，从而提升采样准确性。
• 对最优基线方法进行预处理以获取精确的度数，从而在重复查询中实现公平比较。
• 通过邻居经验分布与均匀分布之间的总变差距离来衡量性能。

实验结果

研究问题

• RQ1 能否修改基于LSH的数据结构，以确保从查询点的 $ r $-邻域中实现均匀随机采样？
• RQ2 在公平近邻搜索中，采样准确率与查询效率之间的权衡如何？
• RQ3 所提出的度数近似方法在统计距离到均匀性方面，与精确方法和基线采样方法相比表现如何？
• RQ4 该方法在邻域大小增加及LSH参数变化时是否具有良好的可扩展性？

主要发现

• 在MNIST数据集上，所提方法的统计距离为2.4，优于标准方法（其距离为6.6–10倍之差）。
• 在SIFT数据集上，该方法的统计距离为1.4，而其他方法为6.1–9.7。
• 在GloVe数据集上，该方法比最优方法差2.7倍，而其他方法则差6.5–13.1倍。
• 增加查询重复次数可提高准确性：在MNIST上，查询次数增加4倍后，统计距离从2.4降至1.05。
• 当 $ L=300 $ 时，该方法比最优算法快4.3倍，尽管仍慢于两种基线方法。
• 该方法在不同LSH参数下均保持良好性能，MNIST上的度数范围从 [1,33] 扩展至 [1,99]。