[论文解读] Who did They Respond to? Conversation Structure Modeling using Masked Hierarchical Transformer

Henghui Zhu, Nan Feng+3 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 21被引用 5

一句话总结

本文提出了一种掩码层次化Transformer模型，通过新颖的掩码机制显式利用祖先历史，显著提升了在Reddit和Ubuntu IRC数据集上的对话结构建模性能，相较于强基线模型（包括BERT），通过更准确地建模父语句关系，实现了更优的性能表现。

ABSTRACT

Conversation structure is useful for both understanding the nature of conversation dynamics and for providing features for many downstream applications such as summarization of conversations. In this work, we define the problem of conversation structure modeling as identifying the parent utterance(s) to which each utterance in the conversation responds to. Previous work usually took a pair of utterances to decide whether one utterance is the parent of the other. We believe the entire ancestral history is a very important information source to make accurate prediction. Therefore, we design a novel masking mechanism to guide the ancestor flow, and leverage the transformer model to aggregate all ancestors to predict parent utterances. Our experiments are performed on the Reddit dataset (Zhang, Culbertson, and Paritosh 2017) and the Ubuntu IRC dataset (Kummerfeld et al. 2019). In addition, we also report experiments on a new larger corpus from the Reddit platform and release this dataset. We show that the proposed model, that takes into account the ancestral history of the conversation, significantly outperforms several strong baselines including the BERT model on all datasets

研究动机与目标

• 为解决在成对方法因缺乏上下文而失效的场景下，准确识别对话中父语句的挑战。
• 通过整合每个语句的完整祖先历史，而非依赖孤立的语句对，来建模对话结构。
• 通过设计一种优先考虑结构（祖先）关系而非时间邻近关系的掩码机制，减少对时间邻近性的依赖。
• 通过恢复准确的对话线程结构，提升摘要生成和话语分析等下游任务的性能。

提出的方法

• 采用两阶段Transformer架构：首先，预训练的Transformer将每个语句编码为稠密向量。
• 第二阶段的层次化Transformer将每个语句与目标语句进行比较，利用新颖的掩码机制，仅将注意力限制在目标语句的祖先链上。
• 该掩码机制确保每个非目标语句只能关注对话树中的其祖先，从而保留结构上下文。
• 通过掩码自注意力机制聚合特征，模型预测每个语句作为目标语句父语句的概率。
• 模型通过在'回复至'边预测任务上使用交叉熵损失进行端到端训练，训练期间使用真实的对话结构。
• 消融研究通过与仅基于时间的掩码和无掩码基线对比，验证了基于祖先的掩码的重要性。

实验结果

研究问题

• RQ1 与成对方法相比，建模语句的完整祖先历史是否能提升父语句预测的准确性？
• RQ2 在预测对话结构时，结构（祖先）上下文与时间邻近性相比表现如何？
• RQ3 一种将注意力限制在祖先上的掩码注意力机制，是否比无掩码或仅时间受限的注意力机制表现更优？
• RQ4 祖先历史的深度（祖先深度）在多大程度上影响对话结构建模中的模型性能？
• RQ5 当使用或排除手工设计特征时，该模型与强基线模型（如BERT）相比表现如何？

主要发现

• 在Reddit-small数据集上，该模型取得了60.53%的图准确率和20.61%的对话准确率，显著优于无掩码变体（46.43%和15.14%）。
• 随着祖先深度（d）的增加，性能持续提升，表明更长的祖先上下文有助于结构建模，最优性能出现在d=11（完整祖先访问）。
• 基于祖先的掩码机制优于仅基于时间的掩码，后者在低时间深度（t）时性能即趋于饱和，表明结构上下文比时间邻近性更具信息量。
• 在Ubuntu IRC数据集上，该模型取得了89.8%的F1值、75.4%的精确率和34.2%的召回率，即使在额外使用手工设计特征的情况下，仍优于基于BERT的基线模型（89.5%、71.7%、30.0%）。
• 消融研究证实，基于祖先历史的掩码至关重要，因为移除该机制会导致性能显著下降，验证了结构上下文的重要性。