[论文解读] STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases

Shirley Wu, Shiyu Zhao+8 more|arXiv (Cornell University)|Apr 19, 2024

Natural Language Processing Techniques被引用 4

一句话总结

STaRK 提出了首个针对大型语言模型（LLM）在半结构化知识库（SKBs）上驱动检索的综合性基准，该知识库整合了文本和关系数据。作者开发了一套合成管道，在电商、学术和生物医学领域生成真实且复杂的查询，揭示了当前检索系统——尤其是依赖嵌入表示的系统——在准确性和推理能力方面均表现不佳，凸显了通过 LLM 增强重排序以提升性能的必要性。

ABSTRACT

Answering real-world complex queries, such as complex product search, often requires accurate retrieval from semi-structured knowledge bases that involve blend of unstructured (e.g., textual descriptions of products) and structured (e.g., entity relations of products) information. However, many previous works studied textual and relational retrieval tasks as separate topics. To address the gap, we develop STARK, a large-scale Semi-structure retrieval benchmark on Textual and Relational Knowledge Bases. Our benchmark covers three domains: product search, academic paper search, and queries in precision medicine. We design a novel pipeline to synthesize realistic user queries that integrate diverse relational information and complex textual properties, together with their ground-truth answers (items). We conduct rigorous human evaluation to validate the quality of our synthesized queries. We further enhance the benchmark with high-quality human-generated queries to provide an authentic reference. STARK serves as a comprehensive testbed for evaluating the performance of retrieval systems driven by large language models (LLMs). Our experiments suggest that STARK presents significant challenges to the current retrieval and LLM systems, highlighting the need for more capable semi-structured retrieval systems. The benchmark data and code are available on https://github.com/snap-stanford/STaRK.

研究动机与目标

• 解决在真实查询中同时处理文本和关系知识的检索系统评估方面的空白。
• 创建一个反映实际应用场景的、真实且大规模的半结构化知识库（SKB）检索基准。
• 评估 LLM 驱动的检索系统在需要对非结构化文本和结构化关系进行联合推理的复杂查询上的表现。
• 评估在 LLM 增强的检索流水线中，检索准确性、延迟与推理能力之间的权衡。
• 为未来在多模态、混合检索系统方面的研究提供标准化测试平台。

提出的方法

• 设计一种新颖的自动化管道，用于生成自然、复杂且融合了真实 SKB 中的文本描述与关系约束的用户查询。
• 从公开数据集构建三个多样化的 SKB：STaRK-Amazon（电商）、STaRK-MAG（学术出版物）和 STaRK-Prime（生物医学知识）。
• 通过人工评估验证查询质量，确保其在各领域中的相关性、真实性和多样性。
• 实现基于密集检索、图神经网络（QAGNN）和向量相似性搜索（VSS）的检索基线，并引入 LLM 重排序（Claude、GPT-4）以提升准确性。
• 采用 Recall@20、MRR 和 Hit@1 等指标，评估所有数据集上的检索有效性。
• 在单张 A100 GPU 上测量系统延迟，以评估实际部署中的权衡。

实验结果

研究问题

• RQ1 当前基于 LLM 的检索系统在涉及半结构化知识库中文本和关系知识的复杂混合查询上的表现如何？
• RQ2 基于嵌入的检索方法在多大程度上未能捕捉查询中文本与关系组件之间的相互作用？
• RQ3 LLM 重排序在多大程度上提升了检索准确性，特别是在需要对结构化关系和非结构化文本进行推理的情况下？
• RQ4 在检索流水线中集成 LLM 时，延迟与性能之间的权衡如何？
• RQ5 合成查询生成能否产生真实、多样且高质量的基准，以评估混合检索系统？

主要发现

• 所有 STaRK 数据集的 Recall@20 分数均低于 60%，表明检索全面性仍有显著提升空间。
• Hit@1 和 MRR 分数依然偏低，尤其在 STaRK-Prime 上表现明显，表明当前模型即使在 top-1 位置也难以检索到正确答案。
• 采用 LLM 重排序的 VSS 模型（如 VSS+Claude）取得了最高准确率，表明推理增强的重排序能显著改善结果。
• 使用 LLM 重排序器时延迟显著增加：VSS+Claude 在 STaRK 上的平均延迟为 26.33 秒，而密集检索器仅为 1.40 秒。
• 案例研究显示，纯嵌入模型常因关键词重复而错误排序文档，而 LLM 重排序器则能通过推理查询-上下文关系纠正这些错误。
• 该基准揭示了当前检索系统在需要联合推理文本和关系信息的查询面前缺乏鲁棒性，强调了在检索流水线中更优整合 LLM 推理能力的迫切需求。