[论文解读] Use of Solr and Xapian in the Invenio document repository software

Patrick Glauner, J. Iwaszkiewicz+2 more|arXiv (Cornell University)|Oct 1, 2013

Research Data Management Practices参考文献 1被引用 3

一句话总结

本文介绍了将 Apache Solr 和 Xapian 搜索引擎集成到 Invenio 的成果，Invenio 是 CERN 开发的免费数字图书馆软件套件。通过使用通用网桥，Invenio 将全文内容和元数据索引至 Solr，利用先进的相似性算法提升搜索效率和排序质量，同时在大规模存储库环境中对比了 Solr 与基于 Xapian 的替代方案的性能表现。

ABSTRACT

Invenio is a free comprehensive web-based document repository and digital library software suite originally developed at CERN. It can serve a variety of use cases from an institutional repository or digital library to a web journal. In order to fully use full-text documents for efficient search and ranking, Solr was integrated into Invenio through a generic bridge. Solr indexes extracted full-texts and most relevant metadata. Consequently, Invenio takes advantage of Solr's efficient search and word similarity ranking capabilities. In this paper, we first give an overview of Invenio, its capabilities and features. We then present our open source Solr integration as well as scalability challenges that arose for an Invenio-based multi-million record repository: the CERN Document Server. We also compare our Solr adapter to an alternative Xapian adapter using the same generic bridge. Both integrations are distributed with the Invenio package and ready to be used by the institutions using or adopting Invenio.

研究动机与目标

• 通过集成高性能搜索引擎，增强 Invenio（一种数字图书馆软件套件）的全文搜索功能。
• 解决在索引和查询数百万条记录的存储库（如 CERN 文档服务器）时面临的可扩展性挑战。
• 比较在 Invenio 中使用相同通用索引网桥时，Solr 与 Xapian 的性能与效率差异。
• 为机构部署提供可立即使用的、开源的 Solr 与 Xapian 集成方案，作为 Invenio 软件包的一部分。

提出的方法

• 开发通用网桥组件，将 Invenio 的文档索引逻辑与底层搜索引擎解耦。
• 实现 Solr 集成，用于索引全文内容和元数据，利用 Solr 的高级文本分析与排序功能。
• 将同一通用网桥适配至 Xapian，支持类似的索引与搜索操作。
• 在 CERN 文档服务器（一个大规模 Invenio 基础存储库）中部署并评估 Solr 与 Xapian 的集成方案。
• 使用标准化 API 和配置，使机构能够以最小代码修改在 Solr 与 Xapian 之间切换。
• 在包含数百万篇文档的真实工作负载下，评估搜索性能、索引吞吐量及可扩展性。

实验结果

研究问题

• RQ1 如何在类似 Invenio 的大规模数字存储库中有效增强全文搜索与排序能力？
• RQ2 在机构存储库环境中，使用 Solr 与 Xapian 的性能与可扩展性权衡如何？
• RQ3 能否设计一种通用索引网桥，以支持多种搜索引擎，同时保持高性能与可扩展性？
• RQ4 在生产规模的 Invenio 部署中，Solr 与 Xapian 在索引速度、查询响应时间与资源利用率方面有何差异？
• RQ5 在处理数百万文档的存储库时，全文搜索的可扩展性挑战有哪些关键点，以及如何通过现代搜索引擎加以缓解？

主要发现

• 通过利用 Solr 的高级词语相似性与相关性评分算法，Solr 集成显著提升了搜索效率与排序质量。
• 通用网桥架构成功将索引逻辑与搜索引擎解耦，实现了对 Solr 与 Xapian 的无缝支持。
• 在 CERN 文档服务器工作负载下，Solr 在处理复杂查询与大规模全文索引方面表现出优于 Xapian 的性能。
• Xapian 适配器提供了一种可行且轻量级的替代方案，适用于小型或资源受限的部署环境。
• 两种集成方案均已成功部署，并随 Invenio 软件包分发，使机构可立即采用。
• 通过优化索引流水线与分布式 Solr 配置，CERN 文档服务器中的可扩展性挑战得到了有效缓解。