[论文解读] Query Reformulation using Query History for Passage Retrieval in Conversational Search

Sheng-Chieh Lin, Jheng-Hong Yang+4 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 50被引用 20

一句话总结

本文提出了一种用于对话式段落检索的多阶段流水线，结合传统信息检索（IR）系统与两种新颖的查询重写方法：历史查询扩展（HQE）和神经迁移重写（NTR）。HQE 利用历史查询进行查询扩展，而 NTR 则将人类对话理解能力迁移至神经模型中，在 NDCG@3 上相比 TREC 2019 最佳系统提升 18%，且在融合后，与人工重写查询的性能差距缩小至仅 4 分。

ABSTRACT

Passage retrieval in a conversational context is essential for many downstream applications; it is however extremely challenging due to limited data resources. To address this problem, we present an effective multi-stage pipeline for passage ranking in conversational search that integrates a widely-used IR system with a conversational query reformulation module. Along these lines, we propose two simple yet effective query reformulation approaches: historical query expansion (HQE) and neural transfer reformulation (NTR). Whereas HQE applies query expansion, a traditional IR query reformulation technique, NTR transfers human knowledge of conversational query understanding to a neural query reformulation model. The proposed HQE method was the top-performing submission of automatic systems in CAsT Track at TREC 2019. Building on this, our NTR approach improves an additional 18% over that best entry in terms of NDCG@3. We further analyze the distinct behaviors of the two approaches, and show that fusing their output reduces the performance gap (measured in NDCG@3) between the manually-rewritten and automatically-generated queries to 4 from 22 points when compared with the best CAsT submission.

研究动机与目标

• 提升对话式搜索中的段落检索性能，其中有限的训练数据限制了性能表现。
• 解决在多轮对话中理解与重写用户查询的挑战。
• 开发有效的查询重写技术，以在无需大规模标注对话数据的情况下提升检索效果。
• 弥合自动生成与人工重写查询在对话式搜索中的性能差距。
• 将传统 IR 方法与神经方法相结合，以提升对话检索中的排序性能。

提出的方法

• 该框架采用多阶段流水线，结合标准 IR 系统与查询重写模块。
• 历史查询扩展（HQE）通过使用对话历史中的先前查询术语来重写查询。
• 神经迁移重写（NTR）使用经过微调的神经模型，将人工标注的对话式查询理解模式迁移至查询重写任务中。
• 通过融合两种重写方法，结合其在查询理解方面的互补优势。
• 系统在 TREC 2019 的 CAsT 赛道上进行评估，以 NDCG@3 为主要指标。
• 该方法利用现有 IR 基础设施，同时添加轻量级且高效的查询重写组件。

实验结果

研究问题

• RQ1 历史查询扩展（HQE）在提升对话式搜索段落检索性能方面效果如何？
• RQ2 在低资源对话设置下，神经迁移学习在多大程度上能改善查询重写？
• RQ3 HQE 与 NTR 在模拟人工查询重写方面的能力有何差异？
• RQ4 融合 HQE 与 NTR 输出是否能显著缩小自动与人工查询重写之间的性能差距？
• RQ5 查询重写对真实对话检索基准中 NDCG@3 的影响如何？

主要发现

• HQE 方法在 TREC 2019 CAsT 赛道的所有自动系统中表现最佳。
• NTR 方法在 CAsT 最佳提交结果基础上，将 NDCG@3 提升了 18%，证明了神经迁移方法的显著优势。
• 融合 HQE 与 NTR 输出后，自动生成与人工重写查询在 NDCG@3 上的性能差距从 22 分缩小至仅 4 分。
• 两种方法表现出不同行为：HQE 依赖于历史记录中的词汇重叠，而 NTR 通过迁移学习捕捉语义意图。
• 两种方法的融合实现了更稳健且更接近人类的查询重写，显著缩小了与人工重写的差距。
• 结果证实，将传统 IR 技术与神经迁移学习结合，可在低资源对话检索中实现更优性能。