[论文解读] Seeing the Forest and the Trees: Detection and Cross-Document Coreference Resolution of Militarized Interstate Disputes

Benjamin J. Radford|arXiv (Cornell University)|May 6, 2020

Computational and Text Analysis Methods被引用 6

一句话总结

本文提出了战争头条（Headlines of War, HoW）数据集，用于政治冲突报道中的跨文档事件共指消解，支持对军事化国家间争端（MID）的联合检测与跨文档相关头条的链接。提出了一种多任务卷积神经网络，联合执行事件检测与共指预测，在HoW基准上表现出色，相较于基线方法在事件检测与链接准确率上均有提升。

ABSTRACT

Previous efforts to automate the detection of social and political events in text have primarily focused on identifying events described within single sentences or documents. Within a corpus of documents, these automated systems are unable to link event references -- recognize singular events across multiple sentences or documents. A separate literature in computational linguistics on event coreference resolution attempts to link known events to one another within (and across) documents. I provide a data set for evaluating methods to identify certain political events in text and to link related texts to one another based on shared events. The data set, Headlines of War, is built on the Militarized Interstate Disputes data set and offers headlines classified by dispute status and headline pairs labeled with coreference indicators. Additionally, I introduce a model capable of accomplishing both tasks. The multi-task convolutional neural network is shown to be capable of recognizing events and event coreferences given the headlines' texts and publication dates.

研究动机与目标

• 为解决现有事件检测系统仅在句子或文档层面运行、遗漏跨文档事件链接的局限性。
• 构建一个数据集，以支持对政治冲突报道中事件检测与跨文档共指消解的评估。
• 提出一种统一的深度学习模型，能够联合检测事件并实现跨头条的共指消解。
• 通过提升跨文档链接准确率，减少自动化事件数据中重复的事件记录。
• 为未来研究提供事件共指消解的基准，超越单一文档的事件编码。

提出的方法

• 从MIDS 3.0数据集获取正样本（共指性）头条对，从《纽约时报》世界版头条获取负样本（非共指性）样本，构建战争头条（HoW）数据集。
• 该数据集包含一个头条节点列表和一个核心指链接边列表，链接表示指向同一军事化国家间争端（MID）的头条之间的关系。
• 训练一个多任务卷积神经网络，联合执行事件分类（判断头条是否涉及MID）与共指预测（将指向同一MID的头条链接起来）。
• 模型以头条文本和发布日期作为输入特征，采用共享层与任务特定层的结构，以同时优化检测与链接目标。
• 采用5:1的负样本采样比例，基于自然语言处理中的标准实践，尽管这可能导致假阴性。
• 通过标准分类与链接预测指标，在样本外数据上评估模型性能，采用时间划分策略以模拟实时监控场景。

实验结果

研究问题

• RQ1 多任务深度学习模型能否在新闻头条中有效检测政治事件（MIDs）的同时，实现对多篇头条的共指消解？
• RQ2 将发布日期作为输入特征，对跨文档事件共指消解性能有何影响？
• RQ3 与GDELT或ICEWS等传统事件数据系统中的启发式方法相比，所提模型在减少重复事件记录方面能提升多少？
• RQ4 考虑到HoW数据集的时间划分，该模型在未见时间段上的泛化能力如何？
• RQ5 负样本采样策略的选择对模型区分真实非共指头条的能力有何影响？

主要发现

• 与基线模型相比，多任务卷积神经网络在HoW数据集上的事件检测与共指消解任务中均取得显著性能提升。
• 模型在链接涉及同一MID的跨文档头条方面表现更优，尤其在事件持续时间较长的场景中。
• 时间划分实验表明，基于早期时间周期训练的模型在后期周期上泛化能力较差，凸显了真实部署中时间分布偏移的挑战。
• 使用头条文本与发布日期作为输入特征，显著增强了模型的共指消解能力，尤其在事件描述重叠或相似的情况下。
• 尽管数据集构建过程受限于缺失头条及负样本采样中潜在的假阴性，但该数据集仍为未来研究提供了可行的基准。
• 研究证实，联合检测与链接优于顺序或孤立处理方法，尤其在减少自动化事件数据流水线中的重复记录方面效果显著。