[论文解读] RACE: Sub-Linear Memory Sketches for Approximate Near-Neighbor Search on Streaming Data.

Benjamin Coleman, Anshumali Shrivastava+1 more|arXiv (Cornell University)|Feb 18, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

RACE 首次提出了面向流式数据近似近邻搜索的次线性内存草图，结合基于局部敏感哈希（LSH）的估计（ACE）、压缩感知和重头元素技术，将 N 个高维向量压缩为大小为 O(N^b log²N) 的草图，其中 b < 1。这使得在打破传统 O(N) 内存限制的前提下，能够实现高效且高概率的 top-v 近邻检索。

ABSTRACT

We demonstrate the first possibility of a sub-linear memory sketch for solving the approximate near-neighbor search problem. In particular, we develop an online sketching algorithm that can compress $N$ vectors into a tiny sketch consisting of small arrays of counters whose size scales as $O(N^{b}\log^2{N})$, where $b < 1$ depending on the stability of the near-neighbor search. This sketch is sufficient to identify the top-$v$ near-neighbors with high probability. To the best of our knowledge, this is the first near-neighbor search algorithm that breaks the linear memory ($O(N)$) barrier. We achieve sub-linear memory by combining advances in locality sensitive hashing (LSH) based estimation, especially the recently-published ACE algorithm, with compressed sensing and heavy hitter techniques. We provide strong theoretical guarantees; in particular, our analysis sheds new light on the memory-accuracy tradeoff in the near-neighbor search setting and the role of sparsity in compressed sensing, which could be of independent interest. We rigorously evaluate our framework, which we call RACE (Repeated ACE) data structures on a friend recommendation task on the Google plus graph with more than 100,000 high-dimensional vectors. RACE provides compression that is orders of magnitude better than the random projection based alternative, which is unsurprising given the theoretical advantage. We anticipate that RACE will enable both new theoretical perspectives on near-neighbor search and new methodologies for applications like high-speed data mining, internet-of-things (IoT), and beyond.

研究动机与目标

• 解决流式数据近似近邻搜索中的 O(N) 内存瓶颈问题。
• 设计一种草图框架，实现在保持近邻检索高精度的同时，内存增长为次线性。
• 为内存-精度权衡提供理论保证，并阐明稀疏性在压缩感知中对近邻搜索的作用。
• 实现在物联网和高速数据挖掘等内存受限环境中的实际部署。

提出的方法

• RACE 将 ACE 算法用于基于 LSH 的估计，并结合压缩感知，以实现对高维向量的高效草图构建。
• 它采用重头元素技术，识别并追踪数据流中最重要的分量，从而减小草图大小。
• 草图通过大小为 O(N^b log²N) 的小计数器数组构建，其中 b < 1，具体取决于搜索稳定性。
• 该框架支持在线处理，允许在新向量到达时对草图进行增量更新。
• 它利用数据中的稀疏性以及压缩感知重构技术，在最小内存下保持精度。
• 理论分析建立了对 top-v 近邻恢复的高概率保证。

实验结果

研究问题

• RQ1 能否在向量数量上实现次线性内存增长的近似近邻搜索？
• RQ2 压缩感知中的稀疏性如何影响近邻搜索中的内存-精度权衡？
• RQ3 高概率近邻检索的草图大小理论上极限是什么？
• RQ4 基于 LSH 的估计能否与压缩感知和重头元素技术有效结合，用于流式数据？

主要发现

• RACE 实现了 O(N^b log²N) 的草图大小，其中 b < 1，代表严格的次线性内存增长，打破了 O(N) 内存限制。
• 该框架为使用紧凑草图识别 top-v 近邻提供了高概率保证。
• 在包含超过 10 万个高维向量的 Google+ 图数据上，RACE 的压缩效果比随机投影高出数个数量级。
• 理论分析揭示了稀疏性在压缩感知中对近邻搜索内存-精度权衡的新见解。
• RACE 使得在物联网和实时数据挖掘等内存受限应用中实现实际部署成为可能。