[论文解读] Named Entity Recognition in Twitter: A Dataset and Analysis on Short-Term Temporal Shifts

Asahi Ushio, Leonardo Neves+3 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用 5

一句话总结

本文介绍了 TweetNER7，这是一个新的英文命名实体识别（NER）数据集，包含11,382条时间分布均匀的推文（2019年9月至2021年8月），涵盖七种类别的实体，并分析了NER模型在短期时间尺度上的性能退化。尽管采用了自标注和微调策略，模型在时间上仍表现出持续的性能下降，表明社交媒体文本中的时间漂移问题仍是当前缓解技术难以解决的重大挑战。

ABSTRACT

Recent progress in language model pre-training has led to important improvements in Named Entity Recognition (NER). Nonetheless, this progress has been mainly tested in well-formatted documents such as news, Wikipedia, or scientific articles. In social media the landscape is different, in which it adds another layer of complexity due to its noisy and dynamic nature. In this paper, we focus on NER in Twitter, one of the largest social media platforms, and construct a new NER dataset, TweetNER7, which contains seven entity types annotated over 11,382 tweets from September 2019 to August 2021. The dataset was constructed by carefully distributing the tweets over time and taking representative trends as a basis. Along with the dataset, we provide a set of language model baselines and perform an analysis on the language model performance on the task, especially analyzing the impact of different time periods. In particular, we focus on three important temporal aspects in our analysis: short-term degradation of NER models over time, strategies to fine-tune a language model over different periods, and self-labeling as an alternative to lack of recently-labeled data. TweetNER7 is released publicly (https://huggingface.co/datasets/tner/tweetner7) along with the models fine-tuned on it.

研究动机与目标

• 为解决缺乏大规模、时间多样化的 Twitter NER 数据集，以捕捉短期语义变化的问题。
• 研究预训练语言模型在社交媒体文本上随时间推移（短期时间尺度）的性能退化现象。
• 评估自标注和微调策略在缓解 NER 中时间漂移问题上的有效性。
• 提供一个基准数据集和基线模型，用于社交媒体中时间感知 NER 的分析。
• 识别与 Twitter 中随时间演化的语义相关的模型偏差和失败模式。

提出的方法

• 通过每周使用热门关键词收集推文，确保主题多样性和时间均匀性，构建了 TweetNER7 数据集，时间范围为2019年9月至2021年8月。
• 对11,382条推文进行了标注，涵盖七种类别的实体：人物、地点、公司、创意作品、群体、产品和事件。
• 删除近似重复和不相关的推文，以提升数据质量并减少噪声。
• 将训练集按年份划分（2020年 vs. 2021年），对标准模型和 Twitter 优化模型（如 RoBERTa）进行微调，以评估时间性能变化。
• 通过从更大语料库中检索上下文相关的推文，基于上下文重新评分预测结果，评估自标注的有效性。
• 使用基于检索的模块（Whoosh）进行上下文预测分析，评估邻近推文是否能改善错误预测。

Figure 1: The instructions shown to the annotators during the annotation phase.

实验结果

研究问题

• RQ1 在 Twitter 数据上，NER 模型在短期时间尺度（如数月）内性能如何退化？
• RQ2 自标注是否能有效缓解在旧数据上训练的 NER 模型的时间漂移问题？
• RQ3 来自邻近推文的上下文信息在随时间纠正模型错误方面起到什么作用？
• RQ4 模型预测在时间上是否具有一致性？偏差是否在时间漂移下依然存在？
• RQ5 不同微调策略在提升跨时间周期泛化能力方面有多大的改善效果？

主要发现

• TweetNER7 数据集包含11,382条高质量、时间分布均匀的推文，涵盖七种类别实体，是目前覆盖范围最广的 Twitter NER 数据集之一。
• 在2020年数据上微调的 NER 模型在2021年测试数据上表现出显著的性能下降，表明存在强烈的时间短期漂移现象。
• 自标注未能提升模型性能，甚至不如基线微调，表明在该场景下自标注不足以缓解时间漂移问题。
• 在检索到的上下文推文中，第二高频的预测结果往往是正确的，表明自标注语料中存在潜在信号，但当前模型未能有效利用。
• 模型预测在时间上高度一致，相同的错误预测反复出现，表明存在持久性偏差，而非动态变化的错误模式。
• 上下文预测分析显示，尽管原始预测常被重复，但正确实体类型在邻近推文中频繁出现，暗示上下文信息具有尚未被充分挖掘的潜力。

Figure 2: Entity-wise F1 score breakdown from the baseline results in the 2021 test set ( Table 5 ).