[论文解读] Query Understanding in the Age of Large Language Models

Avishek Anand, V Venktesh+2 more|arXiv (Cornell University)|Jun 28, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种基于大语言模型（LLM）的交互式查询重写框架，该框架用单一、整体的大语言模型替代了传统的多组件查询理解流水线，以生成完整指定的、自然语言形式的机器意图。该框架通过允许用户编辑和优化机器对其意图的理解，提升了透明度、可控性以及用户控制力，从而提高了意图保真度并减少了查询重写带来的开销。

ABSTRACT

Querying, conversing, and controlling search and information-seeking interfaces using natural language are fast becoming ubiquitous with the rise and adoption of large-language models (LLM). In this position paper, we describe a generic framework for interactive query-rewriting using LLMs. Our proposal aims to unfold new opportunities for improved and transparent intent understanding while building high-performance retrieval systems using LLMs. A key aspect of our framework is the ability of the rewriter to fully specify the machine intent by the search engine in natural language that can be further refined, controlled, and edited before the final retrieval phase. The ability to present, interact, and reason over the underlying machine intent in natural language has profound implications on transparency, ranking performance, and a departure from the traditional way in which supervised signals were collected for understanding intents. We detail the concept, backed by initial experiments, along with open questions for this interactive query understanding framework.

研究动机与目标

• 为解决传统查询理解流水线中缺乏透明度和用户控制的问题，即用户无法查看或编辑系统对其意图的理解。
• 通过支持低成本、交互式的自然语言形式机器生成意图探索，最小化不必要的查询重写次数。
• 通过支持用户与机器意图表示的直接、可解释且可编辑的交互，提升反馈数据的质量与可靠性。
• 探索如何联合利用直接反馈与间接反馈信号，对重写器与排序器进行微调以提升性能。
• 通过在检索流水线核心嵌入可解释、可控制且忠实的意图表示，重新定义经典的信息检索系统。

提出的方法

• 用单一基于大语言模型的查询重写器替代传统的多组件查询理解（如拼写检查、扩展、分类等），以生成机器对其用户意图理解的自然语言描述。
• 将机器意图表示为完整指定的自然语言语句，以忠实且合理的方式捕捉用户的资讯需求。
• 支持对生成的机器意图进行交互式编辑，使用户可在检索前修正或优化系统的理解。
• 支持三种交互路径：提交（接受意图）、编辑（原地修改意图）和探索/优化（迭代优化意图以实现更好对齐）。
• 将直接反馈（如用户编辑）与间接反馈（如点击行为）整合进联合学习框架，实现对重写器与排序器的端到端优化。
• 利用数据增强与检索增强的数据选择技术，解决在有限高质量数据下训练重写器时的冷启动问题。

实验结果

研究问题

• RQ1 与传统黑箱流水线相比，基于大语言模型的查询重写在提升搜索系统中意图理解的透明度与可控性方面有何优势？
• RQ2 哪些设计模式与用户界面范式最能有效支持用户与可编辑的自然语言机器意图进行交互？
• RQ3 如何有效结合直接与间接反馈信号，以微调查询重写器并提升下游检索性能？
• RQ4 在数据稀缺或噪声较多的情况下，应采取何种策略以确保训练数据中意图的高覆盖率与多样性？
• RQ5 用户交互数据在多大程度上可被用于通过上下文学习或微调小型模型来个性化查询重写器？

主要发现

• 初步实验表明，使用大语言模型生成模糊查询的合理且忠实的自然语言重写是可行的。
• 该框架使用户能够与机器对其意图的理解进行交互和编辑，提供了更高的控制力，并减少了对反复查询重写的依赖。
• 使用自然语言形式的机器意图显著增强了可解释性，并通过使系统推理过程可追溯，支持可解释的信息检索。
• 联合使用直接与间接反馈信号对重写器与排序器进行训练，有望提升重写质量与排序性能。
• 数据增强与检索增强的数据选择技术可显著提升意图覆盖率，并缓解重写器训练中的冷启动问题。
• 通过用户画像或微调小型模型实现个性化，显示出在用户特定场景下提升重写器性能的潜力。