[论文解读] Querent Intent in Multi-Sentence Questions

Laurie Burchell, Jie Chi+3 more|arXiv (Cornell University)|Oct 18, 2020

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出了一种新颖的框架，用于通过基于说话者意图将多句问题（MSQs）分类为五种话语关系类型——可分型、同义型、选择型、条件型和对比型——来识别提问者意图。基于从 Stack Exchange 收集的 162,745 个多句问题大规模数据集，作者开发了一种高精度的基于规则的分类器，利用表层对比特征，实现了 82.9% 的精确率，但召回率仅为 26.5%，凸显了真实世界 MSQ 中隐含关系的普遍性。

ABSTRACT

Multi-sentence questions (MSQs) are sequences of questions connected by relations which, unlike sequences of standalone questions, need to be answered as a unit. Following Rhetorical Structure Theory (RST), we recognise that different "question discourse relations" between the subparts of MSQs reflect different speaker intents, and consequently elicit different answering strategies. Correctly identifying these relations is therefore a crucial step in automatically answering MSQs. We identify five different types of MSQs in English, and define five novel relations to describe them. We extract over 162,000 MSQs from Stack Exchange to enable future research. Finally, we implement a high-precision baseline classifier based on surface features.

研究动机与目标

• 解决多句问题（MSQs）研究中的空白，这类问题在自然语言中很常见，但在问答系统中却研究不足。
• 基于潜在话语关系定义五种不同的 MSQ 类型，以反映提问者预期的回答策略。
• 创建一个大规模、多样化且公开可用的 162,745 个多句问题数据集，数据源自 Stack Exchange，以支持未来研究。
• 开发一个基线分类器，利用表层特征识别 MSQ 中的显式话语关系。
• 证明当前问答系统在将 MSQ 视为独立问题时会失败，原因在于回答策略不匹配。

提出的方法

• 作者基于话语结构理论（RST）定义五类 MSQ，每类对应一种独特的提问者意图和所需回答策略。
• 通过基于查询的数据收集方法，从 93 个 Stack Exchange 站点中提取 162,745 个双问句 MSQ，筛选条件包括问号、长度和语言。
• 使用二元对比特征（如话语标记词的有无、标点符号、问句结构）构建基于规则的分类器，以区分五类 MSQ。
• 为每类 MSQ 分配唯一的特征掩码，指定哪些特征为必需、禁止或忽略，以确保类别间的互斥性。
• 在人工标注的 271 个 MSQ 测试集上评估分类器，使用精确率和召回率作为指标，该测试集具有标注者间一致性。
• 系统仅关注显式标记的关系，因隐含关系复杂且模糊，故予以排除。

实验结果

研究问题

• RQ1 如何基于话语关系系统性地对多句问题中的提问者意图进行分类？
• RQ2 在真实用户查询中，多句问题的最普遍类型是什么？
• RQ3 表层语言特征能否可靠地将 MSQ 分类到基于意图的独立类别中？
• RQ4 基于规则的分类器在识别 MSQ 类型方面与人工标注相比表现如何？
• RQ5 MSQ 中隐含信号的程度有多高，这对自动分类有何影响？

主要发现

• 分类器在标注测试集上实现了 82.9% 的精确率，表明其在识别最明显信号化的 MSQ 类型方面具有很强的可靠性。
• 召回率较低，仅为 26.5%，表明真实数据中大多数 MSQ 是隐含信号化的，因此仅靠表层特征难以分类。
• 选择型和条件型 MSQ 最常显式信号化，因为它们通常包含清晰的话语标记词，如 'or' 和 'if'。
• 可分型 MSQ 虽为最常见类型，但分类器检测效果差，表明其结构上主要为隐含。
• 标注过程显示，许多 MSQ 包含多个意图，或包含无信息内容的应酬性问题，使分类复杂化。
• 162,745 个 MSQ 的数据集已公开，为未来 MSQ 理解与回答研究提供了宝贵资源。