[论文解读] Optimizing Query Generation for Enhanced Document Retrieval in RAG

Hae‐Won Koo, Minseon Kim+1 more|arXiv (Cornell University)|Jul 17, 2024

Data Management and Algorithms被引用 4

一句话总结

该论文提出QOQA，一种查询优化框架，通过利用大语言模型（LLMs）和top-k平均查询-文档对齐得分，提升检索增强生成（RAG）中的文档检索效果。通过基于检索到的文档和对齐得分，迭代式地重述查询，QOQA提升了检索精度，在多个数据集上实现了平均1.6%的准确率提升，从而减少了大语言模型生成回复中的幻觉现象。

ABSTRACT

Large Language Models (LLMs) excel in various language tasks but they often generate incorrect information, a phenomenon known as "hallucinations". Retrieval-Augmented Generation (RAG) aims to mitigate this by using document retrieval for accurate responses. However, RAG still faces hallucinations due to vague queries. This study aims to improve RAG by optimizing query generation with a query-document alignment score, refining queries using LLMs for better precision and efficiency of document retrieval. Experiments have shown that our approach improves document retrieval, resulting in an average accuracy gain of 1.6%.

研究动机与目标

• 解决由查询模糊或歧义导致的RAG系统中的幻觉问题。
• 通过优化查询生成，提升文档检索的精度与效率。
• 通过使用大语言模型进行迭代式查询优化，减少对原始模糊查询的依赖。
• 利用查询-文档对齐得分提升检索性能，实现查询优化。
• 证明查询优化能显著提升多样化检索基准中的检索准确率。

提出的方法

• 该方法使用检索器为原始查询获取前-N篇文档。
• 将原始查询与前-N篇文档拼接后输入大语言模型，生成R₀轮的重述查询。
• 使用检索模型对每个重述查询与检索到的文档进行对齐得分计算，并基于平均对齐得分选择前-K个查询。
• 动态更新提示模板，包含原始查询、检索到的文档以及前-K个重述查询，以实现迭代优化。
• 优化过程最多进行50轮迭代，每一步均使用最新的对齐得分对查询进行精炼。
• 该方法整合了稀疏（BM25）和稠密（BGE-base-en-v1.5）检索模型，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 使用大语言模型和对齐得分进行迭代式查询优化，能否提升RAG系统中的检索精度？
• RQ2 与直接重述查询相比，利用检索到的文档进行查询扩展如何影响检索性能？
• RQ3 通过提升检索质量，查询优化在多大程度上减少了大语言模型生成回复中的幻觉？
• RQ4 在QOQA框架中，查询扩展与优化组件的相对贡献如何？
• RQ5 所提出的方法是否能在不同检索模型和基准数据集上实现泛化？

主要发现

• QOQA在多个检索基准上实现了平均1.6%的准确率提升，表现出一致的改进效果。
• 在SciFact数据集上，QOQA（BM25得分）的nDCG@10达到75.4，优于基线模型。
• 消融实验表明，若移除扩展组件，性能显著下降，尤其在BM25评分下更为明显。
• 仅优化步骤本身即可提升检索性能，表明迭代精炼能有效提升查询质量。
• 案例研究证实，QOQA生成的查询包含更多精确关键词（如“nano”、“molecular evidence”），从而增强与相关文档的对齐度。
• 该方法在稀疏和稠密检索设置下均表现出色，验证了其鲁棒性。