[论文解读] Random mappings designed for commercial search engines

Roger Donaldson, Arijit Gupta+2 more|arXiv (Cornell University)|Jul 21, 2015

Advanced Image and Video Retrieval Techniques参考文献 18被引用 4

一句话总结

本文提出了一种实用的随机映射技术，可将高维实值向量（如图像颜色直方图或金融时间序列）转换为汉明立方体中的稀疏二值向量，从而利用商用文本搜索引擎实现高效索引与检索。该方法在高概率下保持了向量之间内积的相对顺序，支持准确的近似最近邻搜索，已在真实图像和金融数据集上得到验证。

ABSTRACT

We give a practical random mapping that takes any set of documents represented as vectors in Euclidean space and then maps them to a sparse subset of the Hamming cube while retaining ordering of inter-vector inner products. Once represented in the sparse space, it is natural to index documents using commercial text-based search engines which are specialized to take advantage of this sparse and discrete structure for large-scale document retrieval. We give a theoretical analysis of the mapping scheme, characterizing exact asymptotic behavior and also giving non-asymptotic bounds which we verify through numerical simulations. We balance the theoretical treatment with several practical considerations; these allow substantial speed up of the method. We further illustrate the use of this method on search over two real data sets: a corpus of images represented by their color histograms, and a corpus of daily stock market index values.

研究动机与目标

• 弥合高维实值数据与现有商用文本搜索基础设施之间的差距，后者针对稀疏、离散表示进行了优化。
• 开发一种实用、高效且理论基础坚实的映射方法，确保变换后向量内积的相对顺序得以保持。
• 通过将非文本数据（如图像、音频和金融时间序列）转换为商用搜索引擎原生支持的格式，实现大规模文档检索。
• 证明该方法即使应用于具有不同统计特性的多样化数据类型，也能实现与精确搜索相当的高检索准确率。
• 提供计算高效的实现方案，利用现有搜索软件栈，最大限度减少工程开销。

提出的方法

• 该方法通过将每个 ℝᵈ 中的向量投影到 m 个独立同分布的标准正态随机向量上，并在固定阈值 h > 0 处进行阈值处理，将其映射为 {0,1}ᵐ 中的稀疏二值向量。
• 输出向量的每个分量为 1，当且仅当内积 ⟨aᵢ, x⟩ ≥ h；否则为 0，当 h 足够大时可确保稀疏性。
• 查询 y 与文档 x 之间的相似度分数通过归一化的汉明内积计算：S(x,y) = (1/m) ∑ᵢ 1_{⟨aᵢ,x⟩≥h} 1_{⟨aᵢ,y⟩≥h}。
• 理论分析表明，通过合理选择 h 和 m，该映射在高概率下保持了向量间内积的相对顺序。
• 一种使用结构化随机投影的优化变体将计算成本从 O(md) 降低至 O(m log m)，在保持性能的同时提升了速度。
• 该方法在两个真实世界语料库上进行了评估：图像的 128 位颜色直方图和道琼斯工业平均指数的 10 天收益率向量。

实验结果

研究问题

• RQ1 能否将 ℝᵈ 映射到 {0,1}ᵐ 中的稀疏二值向量，以保持高维实值向量之间内积的相对顺序？
• RQ2 当使用商用文本搜索引擎进行索引时，该映射是否能实现准确的近似最近邻搜索？
• RQ3 参数 h（阈值）和 m（二值空间维度）如何影响检索准确率和稀疏性？
• RQ4 能否在不牺牲检索质量的前提下使该方法计算高效，尤其适用于大规模应用？
• RQ5 该方法是否能泛化到具有不同统计分布的数据类型，如图像特征和金融时间序列？

主要发现

• 所提出的映射在高概率下保持了向量之间内积的相对顺序，从而支持准确的近似最近邻搜索。
• 在图像和金融数据集上，精确-召回曲线下面积几乎为 1，表明该方法保持了结果的正确排序。
• 搜索性能在不同数据类型间表现稳健：尽管图像颜色直方图与道琼斯金融时间序列具有不同的统计特性，该方法在两者上均实现了相近的精确-召回曲线。
• 使用 Whoosh（一种标准开源搜索引擎）对 27 万张图像进行检索的中位搜索时间约为 500 毫秒，证明了其在实际应用中的可行性。
• 采用结构化随机投影的优化实现将计算成本从 O(md) 降低至 O(m log m)，且与高斯投影相比性能无损失。
• 该方法通过将实值数据转换为稀疏离散格式，实现了对现有商用文本搜索基础设施（如 Apache Lucene 和 ElasticSearch）的直接使用。