[论文解读] Thread Reconstruction in Conversational Data using Neural Coherence Models

Dat Tien Nguyen, Shafiq Joty+2 more|arXiv (Cornell University)|Jul 24, 2017

Topic Modeling参考文献 14被引用 3

一句话总结

本文提出一种基于卷积神经网络（CNN）和扩展实体网格表示的神经连贯性模型，用于重建论坛讨论中的线程结构。通过全局评分整个候选树结构而非单个回复，该方法在CNET论坛数据上相较于All-previous和COS-sim等强基线模型取得了显著提升——准确率相对提高最高达57%。

ABSTRACT

Discussion forums are an important source of information. They are often used to answer specific questions a user might have and to discover more about a topic of interest. Discussions in these forums may evolve in intricate ways, making it difficult for users to follow the flow of ideas. We propose a novel approach for automatically identifying the underlying thread structure of a forum discussion. Our approach is based on a neural model that computes coherence scores of possible reconstructions and then selects the highest scoring, i.e., the most coherent one. Preliminary experiments demonstrate promising results outperforming a number of strong baseline methods.

研究动机与目标

• 为解决在传统局部边分类器无法捕捉全局连贯性的情况下，重建复杂交错的论坛讨论线程的挑战。
• 通过一次性建模整个树结构而非对每个回复链接独立预测，改进线程重建。
• 将原本专为独白设计的神经连贯性模型，适配到论坛对话非顺序、多分支的特性中。
• 通过基于网格的表示方法编码线程结构，实现端到端的成对排序训练，从而提升性能。
• 证明全局连贯性建模相比局部边级方法，能产生更准确、更连贯的线程结构预测。

提出的方法

• 将原始连贯性建模中的网格表示扩展，通过追踪跨帖子的实体提及及其层次回复关系，以编码线程结构。
• 将每个候选线程树表示为一个网格，行对应帖子，列对应实体，单元格值表示实体的存在或显著性。
• 使用成对排序损失在网格表示上训练卷积神经网络（CNN），以学习对整个候选树结构的连贯性评分。
• 通过在训练过程中比较正样本和负样本的树假设，优化模型以将正确线程树排在错误树之前。
• 将模型输出中得分最高的树作为给定讨论的最终预测线程结构。
• 端到端应用该模型，从原始的时间有序论坛帖子中重建完整的线程树，无需依赖显式的回复元数据。

实验结果

研究问题

• RQ1 在网格表示上进行训练的神经连贯性模型，能否有效重建论坛讨论中复杂、多分支的线程结构？
• RQ2 与单独预测每个回复链接相比，全局建模整个线程结构是否能带来更好的线程重建性能？
• RQ3 与All-previous、All-first和余弦相似度等强局部基线相比，该方法在树级和边级准确率上的表现如何？
• RQ4 在真实论坛数据中，该模型的预测相比简单回复模式（如回复第一条或前一条帖子）的改进程度有多大？
• RQ5 扩展的实体网格表示在捕捉论坛中交错子对话的语篇连贯性方面起到了什么作用？

主要发现

• Grid-CNN模型在树级准确率达到26.40%，相比最强基线（包括All-previous和All-first）实现了32%至57%的相对提升。
• 在边级预测任务中，Grid-CNN的F1得分为60.55，准确率为66.12%，在F1上比所有基线高出4%至13%，在准确率上高出1%至12%。
• 该模型显著减少了对简单回复模式的误报，表明其学习到了超越简单时间邻近性的更精细连贯性模式。
• 人工检查显示，大多数错误预测对应于简单结构（如All-previous或All-first），表明模型可能受到训练数据分布的影响。
• Grid-CNN与COS-sim等基线（准确率16.80%）之间的性能差距，凸显了建模全局连贯性而非仅依赖局部相似性的重要性。
• 结果表明，通过结构化网格表示在神经网络上进行全局连贯性建模，是对话数据中线程重建的一种有前景的方法。