[论文解读] Task-Oriented Query Reformulation with Reinforcement Learning

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|Apr 15, 2017

Information Retrieval and Search Behavior参考文献 17被引用 29

一句话总结

本文提出了一种基于强化学习（RL）的面向任务的查询重写框架，通过从原始查询和检索到的文档中选择相关术语来提升文档检索效果。利用神经网络对候选术语进行打分，并通过强化学习优化召回率，该方法在三个数据集上相较于强基线模型实现了5%–20%的相对召回率提升，同时提出了一种新颖的上限估计方法，揭示了未来进一步提升的巨大潜力。

ABSTRACT

Search engines play an important role in our everyday lives by assisting us in finding the information we need. When we input a complex query, however, results are often far from satisfactory. In this work, we introduce a query reformulation system based on a neural network that rewrites a query to maximize the number of relevant documents returned. We train this neural network with reinforcement learning. The actions correspond to selecting terms to build a reformulated query, and the reward is the document recall. We evaluate our approach on three datasets against strong baselines and show a relative improvement of 5-20% in terms of recall. Furthermore, we present a simple method to estimate a conservative upper-bound performance of a model in a particular environment and verify that there is still large room for improvements.

研究动机与目标

• 为解决用户向搜索引擎提交复杂或不精确查询时召回率低下的挑战。
• 开发一种面向任务的查询重写系统，通过强化学习动态提升查询的相关性。
• 训练一个智能体，从原始查询和检索到的文档中选择术语，以最大化检索性能（召回率）。
• 在给定环境中估计模型性能的保守上限，以识别未来改进的空间。
• 引入一个新的大规模数据集（MS Academic），包含30万+组查询-相关文档对，用于学术信息检索。

提出的方法

• 该框架将搜索引擎视为一个黑箱环境，其中智能体（重写器）通过从原始查询和检索到的文档中选择术语来构建重写后的查询。
• 使用带有CNN或RNN编码器的神经网络处理查询和候选术语的嵌入表示，计算每个术语被选中的概率，方法为将查询和术语表示拼接后通过一个带有Sigmoid激活函数的前馈层。
• 核心公式为 P(t_i|q_0) = σ(U^T tanh(W(φ_a(v) || φ_b(e_i)) + b))，其中嵌入表示从预训练词向量学习得到，OOV（词汇表外）术语在训练过程中也被进行嵌入。
• 智能体通过策略梯度强化学习进行训练，奖励定义为使用重写查询检索到的相关文档的召回率。
• 该方法可通过在特定任务数据集上微调，支持多种任务（如问答、引用推荐）。
• 提出了一种基于虚拟智能体的新型方法，用于估计在给定环境中RL模型的性能上限，为未来改进提供基准。

实验结果

研究问题

• RQ1 强化学习能否有效优化查询重写，以提升文档检索的召回率？
• RQ2 在多种不同的检索任务中，基于RL的重写器性能与强基线相比如何？
• RQ3 在给定的检索环境中，此类模型的性能上限是多少？还存在多大改进空间？
• RQ4 不同训练任务如何影响重写术语的选择（例如专有名词 vs. 语义术语）？
• RQ5 该框架在使用特定任务微调的情况下，能在多大程度上适配不同的信息检索任务？

主要发现

• 基于RL的查询重写器在TREC-CAR、Jeopardy和MS Academic三个数据集上，相较于强基线模型，实现了5%–20%的相对召回率提升。
• 在不同任务上训练的模型会选择不同类型的术语：Jeopardy训练的模型偏好专有名词（如“Tunxis”），TREC-CAR模型选择语义术语（如“accreditation”），MS Academic模型则选择多样化的实体相关术语（如“arts center”、“library”）。
• 所提出的虚拟智能体方法估计了模型性能的保守上限，表明该框架仍有巨大的改进空间。
• RL-CNN模型在速度与性能之间实现了最佳平衡，每批64个查询的推理时间约为1秒，其中约40%的时间用于文档检索。
• 在单张K80 GPU上训练最佳模型（RL-RNN）耗时8–10天，表明尽管结果出色，该方法仍具有较高的计算复杂度。
• 定性分析表明，模型会为语义相关术语分配更高的选择概率，即使在包含常见词的情况下也是如此，这是由于奖励函数对中性术语无惩罚机制。