[论文解读] TopiOCQA: Open-domain Conversational Question Answeringwith Topic Switching.

Vaibhav Adlakha, Shehzaad Dhuliawala+3 more|arXiv (Cornell University)|Oct 2, 2021

Topic Modeling参考文献 31被引用 4

一句话总结

TopiOCQA 引入了一个具有话题切换的开放域对话问答数据集，源自维基百科，包含 3,920 个多轮对话，答案形式自由。该数据集在动态话题切换下评估模型的召回检索与响应生成能力，F1 得分为 51.9，BLEU 得分为 42.1——显著低于人类表现，凸显了该数据集的难度与研究价值。

ABSTRACT

In a conversational question answering scenario, a questioner seeks to extract information about a topic through a series of interdependent questions and answers. As the conversation progresses, they may switch to related topics, a phenomenon commonly observed in information-seeking search sessions. However, current datasets for conversational question answering are limiting in two ways: 1) they do not contain topic switches; and 2) they assume the reference text for the conversation is given, i.e., the setting is not open-domain. We introduce TopiOCQA (pronounced Tapioca), an open-domain conversational dataset with topic switches on Wikipedia. TopiOCQA contains 3,920 conversations with information-seeking questions and free-form answers. TopiOCQA poses a challenging test-bed for models, where efficient retrieval is required on multiple turns of the same conversation, in conjunction with constructing valid responses using conversational history. We evaluate several baselines, by combining state-of-the-art document retrieval methods with neural reader models. Our best models achieves F1 of 51.9, and BLEU score of 42.1 which falls short of human performance by 18.3 points and 17.6 points respectively, indicating the difficulty of our dataset. Our dataset and code will be available at https://mcgill-nlp.github.io/topiocqa

研究动机与目标

• 为解决开放域对话问答数据集中缺乏话题切换的问题，而话题切换在真实信息检索会话中十分常见。
• 构建一个真实场景的基准测试，其中参考文档未预先提供，要求在多轮对话中动态检索。
• 评估检索增强模型在处理话题切换并保持对话连贯性方面的能力。
• 提供一个挑战当前模型的资源，揭示在复杂、动态演变的对话情境下推理与检索方面的差距。

提出的方法

• 从维基百科文章构建 3,920 个多轮对话，模拟信息检索互动中自然发生的话题切换。
• 设计包含信息检索类问题与自由形式答案的对话，确保对话模式多样化且真实。
• 采用开放域检索，在每一轮对话中根据不断演化的对话历史动态检索相关维基百科段落。
• 将最先进的神经阅读器模型与检索方法结合，生成基于检索文档的响应。
• 实施检索增强生成框架，将前序对话的上下文与检索到的证据共同用于响应生成。
• 采用多轮评估协议，要求模型在未预先获取完整对话上下文的情况下，保持话题转换中的连贯性与准确性。

实验结果

研究问题

• RQ1 在未访问预设参考文档的情况下，检索增强模型在开放域对话问答中处理话题切换的能力如何？
• RQ2 当前神经阅读器模型在话题随多轮对话演变时，其答案质量与连贯性保持程度如何？
• RQ3 与静态话题设置相比，检索增强模型在面对话题转换时性能是下降还是提升？
• RQ4 在开放域、话题切换的对话问答中，人类表现与模型表现之间的差距有多大？

主要发现

• 表现最佳的模型在 TopiOCQA 基准上的 F1 得分为 51.9，BLEU 得分为 42.1。
• 最佳模型与人类表现之间的差距在 F1 上为 18.3 分，在 BLEU 上为 17.6 分，表明仍有巨大提升空间。
• 话题切换带来了显著挑战，模型难以在话题演变过程中保持连贯性与相关性。
• 当话题发生切换时，检索效果下降，要求模型动态重新接入新的信息源。
• 当前的检索增强模型对话题切换不具鲁棒性，表明其在建模长距离依赖与上下文演化方面存在局限。
• 该数据集表明，即使是最先进的模型在开放域、多轮、话题切换的场景下也难以良好泛化。