[论文解读] Multi-tasking Dialogue Comprehension with Discourse Parsing

Yuchen He, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 40被引用 12

一句话总结

该论文提出了首个多任务学习框架，联合在多方对话中进行机器阅读理解（MRC）和话语解析（DP），利用话语结构提升答案抽取性能。该模型显著提升了两项任务的性能，尤其是在长对话中表现突出，证明话语解析通过连接远距离语义相关话语提升了理解能力。

ABSTRACT

Multi-party dialogue machine reading comprehension (MRC) raises an even more challenging understanding goal on dialogue with more than two involved speakers, compared with the traditional plain passage style MRC. To accurately perform the question-answering (QA) task according to such multi-party dialogue, models have to handle fundamentally different discourse relationships from common non-dialogue plain text, where discourse relations are supposed to connect two far apart utterances in a linguistics-motivated way.To further explore the role of such unusual discourse structure on the correlated QA task in terms of MRC, we propose the first multi-task model for jointly performing QA and discourse parsing (DP) on the multi-party dialogue MRC task. Our proposed model is evaluated on the latest benchmark Molweni, whose results indicate that training with complementary tasks indeed benefits not only QA task, but also DP task itself. We further find that the joint model is distinctly stronger when handling longer dialogues which again verifies the necessity of DP in the related MRC.

研究动机与目标

• 解决多方对话理解中的挑战，其中话语结构复杂，且非局部话语关系普遍存在。
• 探究多方对话中问答（QA）与话语解析（DP）之间的相关性。
• 开发一个统一的多任务学习框架，联合优化QA与DP，以提升两项任务的性能。
• 证明话语解析可增强答案抽取，尤其在具有非相邻依赖关系的长对话中。
• 提供实证证据表明，联合训练在Molweni基准上优于单任务训练。

提出的方法

• 提出一种多任务学习架构，使QA与话语解析头共享上下文表示。
• 使用基于BERT的编码器对包含说话人角色和话语顺序的多方对话上下文进行编码。
• 训练QA头以预测跨度级答案，训练DP头以分类话语之间的语义关系。
• 使用加权损失函数联合优化两项任务，以平衡QA与DP目标。
• 利用Molweni数据集中人工标注的话语关系监督DP头。
• 应用早停法与动态学习率调度，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 QA与话语解析的联合训练在多方对话MRC上如何提升性能？
• RQ2 话语解析在具有非相邻依赖关系的长对话中，对答案抽取的增强程度如何？
• RQ3 哪些话语关系类型对QA性能的提升贡献最大？
• RQ4 该多任务模型与单任务QA模型相比，在处理不同类型问题时表现如何？
• RQ5 当相邻话语具有误导性时，话语结构是否有助于解决答案抽取中的歧义？

主要发现

• 该多任务模型在Molweni基准上实现了多方对话MRC的最先进性能。
• 联合训练显著提升了QA与话语解析的性能，证实了两项任务之间存在强烈正相关性。
• 该模型在长对话中表现出显著性能提升，话语解析有助于连接远距离的相关话语。
• 在99个联合模型成功而单任务QA模型失败的案例中，有58例是由于话语解析正确识别了QAP（问题-答案对）关系所致。
• QAP（问题-答案对）话语关系对QA性能的提升贡献最大，而澄清类问题影响较小。
• 该模型在处理who-和what-引导的问题时表现更优，但在处理how-引导的问题时表现较差，原因在于其句法与语义的多样性。