[论文解读] Sub-event detection from Twitter streams as a sequence labeling problem

Giannis Bekoulis, Johannes Deleu+2 more|arXiv (Cornell University)|Mar 13, 2019

Complex Network Analysis Techniques参考文献 23被引用 5

一句话总结

本文将Twitter流中的子事件/事件检测问题建模为序列标注任务，利用循环神经网络（LSTM）捕捉推文之间的时序顺序。该研究提出了一种神经基线模型，在二元检测任务中微F1得分较先前基于图的方法高出2.7%，并通过采用时序LSTM将分桶级别的F1提升2.4%，证明了在社交媒体事件分析中序列建模的价值。

ABSTRACT

This paper introduces improved methods for sub-event detection in social media streams, by applying neural sequence models not only on the level of individual posts, but also directly on the stream level. Current approaches to identify sub-events within a given event, such as a goal during a soccer match, essentially do not exploit the sequential nature of social media streams. We address this shortcoming by framing the sub-event detection problem in social media streams as a sequence labeling task and adopt a neural sequence architecture that explicitly accounts for the chronological order of posts. Specifically, we (i) establish a neural baseline that outperforms a graph-based state-of-the-art method for binary sub-event detection (2.7% micro-F1 improvement), as well as (ii) demonstrate superiority of a recurrent neural network model on the posts sequence level for labeled sub-events (2.4% bin-level F1 improvement over non-sequential models).

研究动机与目标

• 解决现有子事件/事件检测方法忽略Twitter流时序特性的局限性。
• 提出一种利用推文时序顺序的神经序列模型，以提升子事件/事件检测性能。
• 为二元子事件/事件存在性检测和多类别子事件/事件类型分类建立强基线。
• 评估通过LSTM引入序列建模对不同架构性能的影响。
• 倡导采用分桶级别评估而非宽松评估，因其更能准确捕捉实时流中子事件/事件的持续时间。

提出的方法

• 该方法将Twitter流按时间分桶（例如，一分钟间隔）以表示事件片段。
• 每个分桶以词级别（按时间顺序拼接的词）或推文级别（有序的推文）表示。
• 基于分桶表示构建神经基线模型，使用词嵌入、平均池化，并结合多种架构（CNN、注意力机制、LSTM）。
• 在基线模型之上添加一个时序LSTM层，以建模连续分桶间子事件/事件的时间流动。
• 使用分桶级别和宽松F1分数进行模型训练与评估，其中分桶级别评估因其与子事件/事件持续时间的一致性而更受推荐。
• 性能最佳的配置结合了推文级别表示、平均池化和时序LSTM（Tweet-AVG + LSTM），实现了最先进性能。

实验结果

研究问题

• RQ1 在流中建模推文的时序顺序是否能提升子事件/事件检测性能？
• RQ2 与非序列模型相比，序列标注方法在Twitter流中检测子事件/事件的表现如何？
• RQ3 通过引入LSTM层建模分桶间的时间依赖关系，是否能带来一致的性能提升？
• RQ4 在实时Twitter流中，分桶级别评估是否比宽松评估更合适？
• RQ5 在结合词级别和推文级别表示与序列建模时，子事件/事件检测的最优架构是什么？

主要发现

• 所提出的神经基线模型在二元子事件/事件存在性检测任务中，微F1得分比最先进图方法高出2.7%。
• 与非序列模型相比，添加时序LSTM层使分桶级别F1得分提升2.4%，且精确率和召回率均实现稳定提升。
• Tweet-AVG + 时序LSTM模型表现最佳，从训练初期即展现出稳定性能。
• 词级别CNN模型在训练后期才达到峰值性能，表明其收敛速度慢于更简单的架构。
• 宽松评估策略更青睐无时序LSTM的模型，但作者认为该策略存在缺陷，因其未能正确捕捉子事件/事件的持续时间。
• 推荐使用分桶级别评估，因其更准确反映序列化Twitter数据中子事件/事件的真实边界与持续时间。