[论文解读] Towards Practical Visual Search Engine within Elasticsearch

Cun Mu, Jun Zhao+3 more|arXiv (Cornell University)|Jun 23, 2018

Advanced Image and Video Retrieval Techniques参考文献 4被引用 9

一句话总结

本文提出了一种新颖的视觉搜索系统，该系统基于Elasticsearch构建，通过将高维图像特征向量编码为字符串标记，利用Elasticsearch的倒排索引实现高效的近似最近邻搜索。所提出的向量到字符串的编码方法在低延迟（低于0.5秒）下实现了高精度（在Precision@24下最高达98.2%），从而在电子商务环境中实现了可扩展、成本效益高且支持多模态的搜索。

ABSTRACT

In this paper, we describe our end-to-end content-based image retrieval system built upon Elasticsearch, a well-known and popular textual search engine. As far as we know, this is the first time such a system has been implemented in eCommerce, and our efforts have turned out to be highly worthwhile. We end up with a novel and exciting visual search solution that is extremely easy to be deployed, distributed, scaled and monitored in a cost-friendly manner. Moreover, our platform is intrinsically flexible in supporting multimodal searches, where visual and textual information can be jointly leveraged in retrieval. The core idea is to encode image feature vectors into a collection of string tokens in a way such that closer vectors will share more string tokens in common. By doing that, we can utilize Elasticsearch to efficiently retrieve similar images based on similarities within encoded sting tokens. As part of the development, we propose a novel vector to string encoding method, which is shown to substantially outperform the previous ones in terms of both precision and latency. First-hand experiences in implementing this Elasticsearch-based platform are extensively addressed, which should be valuable to practitioners also interested in building visual search engine on top of Elasticsearch.

研究动机与目标

• 在原本专为文本搜索设计的Elasticsearch中，实现高效的基于内容的图像检索。
• 克服Elasticsearch在无需将特征向量存储在内存中的情况下处理高维向量相似性搜索的局限性。
• 开发一种可扩展、成本效益高且可投入生产的视觉搜索解决方案，与现有电子商务基础设施兼容。
• 通过在单一索引中原生集成视觉和文本查询，支持多模态搜索。
• 证明向量到字符串的编码方法可在真实世界电子商务应用中实现高精度和低延迟。

提出的方法

• 使用深度学习模型提取图像特征，并将其嵌入高维欧几里得空间。
• 提出一种新颖的向量到字符串编码方法，将图像特征向量映射为字符串标记，使得相似的向量共享更多公共标记。
• 将编码后的字符串标记使用Elasticsearch的倒排索引进行索引，从而基于标记重叠实现候选图像的快速检索。
• 在查询时，将查询向量编码为字符串标记，并通过Elasticsearch的基于标记的搜索检索候选集。
• 通过计算候选集与查询向量之间的精确欧几里得距离对结果进行重排序，以获得最终的精度。
• 通过在单一Elasticsearch索引中联合索引文本产品元数据和视觉特征标记，实现多模态搜索支持。

实验结果

研究问题

• RQ1 是否可以基于原本专为文本搜索设计的Elasticsearch有效构建视觉搜索系统？
• RQ2 如何高效地将高维图像特征向量编码为字符串标记，以利用Elasticsearch的倒排索引实现相似性搜索？
• RQ3 在电子商务视觉搜索中，向量到字符串编码的精度与延迟之间存在何种权衡？
• RQ4 该系统能否支持无缝的多模态搜索，结合视觉和文本查询？
• RQ5 与先前方法相比，所提出的编码方法在检索准确率和性能方面表现如何？

主要发现

• 所提出的向量到字符串编码方法在精度和延迟方面显著优于先前方法，实现了高达98.20%的Precision@24，平均延迟低于0.5秒。
• 在使用256个质心和64个子向量的设置下，Precision@24达到96.06%，延迟低于0.5秒，满足关键性能阈值。
• 在使用256个质心和256个子向量时，系统在0.7970秒的延迟下实现了98.97%的Precision@24，展现出强大的可扩展性。
• 该方法通过避免将数百万个高维向量加载到RAM中，实现了成本效益高的部署。
• 通过在单一Elasticsearch索引中索引视觉和文本数据，系统支持无缝的多模态搜索。
• 该方法支持可轻松分布、扩展和监控的生产级部署，适用于真实世界电子商务环境。