[论文解读] Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval

Priyanka Mandikal, Raymond J. Mooney|arXiv (Cornell University)|Jan 8, 2024

Topic Modeling被引用 7

一句话总结

本文展示了一种混合检索模型，将稀疏的 TF/IDF 词袋与密集的 SPECTER2 嵌入相结合，在囊性纤维化科学文档基准测试中超越了两种基线。

ABSTRACT

Traditional information retrieval is based on sparse bag-of-words vector representations of documents and queries. More recent deep-learning approaches have used dense embeddings learned using a transformer-based large language model. We show that on a classic benchmark on scientific document retrieval in the medical domain of cystic fibrosis, that both of these models perform roughly equivalently. Notably, dense vectors from the state-of-the-art SPECTER2 model do not significantly enhance performance. However, a hybrid model that we propose combining these methods yields significantly better results, underscoring the merits of integrating classical and contemporary deep learning techniques in information retrieval in the domain of specialized scientific documents.

研究动机与目标

• 在经典 CF 语料上评估传统稀疏向量空间检索（VSR）和密集嵌入检索（SPECTER2）。
• 评估混合稀疏+密集检索器是否能超过单独模型。
• 探讨融合权重 lambda 对检索质量的影响。
• 评估在混合设置中使用基础 SPECTER2 与适配器的效果。

提出的方法

• 以 TF/IDF 及余弦相似度作为稀疏基线。
• 使用 SPECTER2 生成密集嵌入并使用余弦相似度进行密集检索。
• 创建一个混合检索器，通过 lambda * dense_similarity + (1-lambda) * sparse_similarity 对文档进行评分。
• 调优 lambda 以在 CF 数据集上优化精确率-召回率和 NDCG。
• 在混合框架内比较基础 SPECTER2 与适配器变体。

Figure 1: Overview of our approach. On a medical dataset of cystic fibrosis documents, we combine sparse bag-of-words embeddings with dense embeddings from a SOTA LLM (Specter2 [ 4 ] ) to produce a hybrid retriever that significantly outperforms both methods.

实验结果

研究问题

• RQ1 在医疗/科学检索任务中，混合稀疏+密集检索模型能否超越传统的稀疏和密集基线？
• RQ2 对于该数据集，密集与稀疏分量的最佳平衡（lambda）是多少？
• RQ3 在混合模型中，SPECTER2 的适配器是否提供额外的好处？

主要发现

• 混合模型在囊性纤维化语料库的精确性/召回率和 NDCG 指标方面，优于 TF/IDF VSR 和 SPECTER2。
• 对于 PR 和 NDCG，密集分量权重较高（lambda 约为 0.8）时效果最好。
• 在此设置中，SPECTER2 基线模型的表现至少与适配器相当；适配器在 NDCG 上提供边际提升，但可能降低高召回精度。
• 研究结果支持将经典与现代信息检索技术结合用于专门的科学检索。

Figure 2: Results on the Cystic-Fibrosis dataset. The hybrid approach ( $\lambda=0.8$ ) outperforms both traditional sparse vector-space retrieval (VSR) and state-of-the-art deep embeddings (SPECTER2 [ 4 ] ) in both PR (left) as well as NDCG (right) metrics.