[论文解读] Zero- and Few-Shot Named-Entity Recognition: Case Study and Dataset in the Crime Domain (CrimeNER)

Miguel Lopez-Duran, Julian Fierrez+8 more|arXiv (Cornell University)|Mar 2, 2026

Topic Modeling被引用 0

一句话总结

该论文引入 CrimeNERdb，这是一个1.5k+ 的犯罪领域命名实体识别数据集，具有粗粒度（5类）和细粒度（22类）标签，并在SOTA模型和大型语言模型下评估零样本与少样本NER。

ABSTRACT

The extraction of critical information from crime-related documents is a crucial task for law enforcement agencies. Named-Entity Recognition (NER) can perform this task in extracting information about the crime, the criminal, or law enforcement agencies involved. However, there is a considerable lack of adequately annotated data on general real-world crime scenarios. To address this issue, we present CrimeNER, a case-study of Crime-related zero- and Few-Shot NER, and a general Crime-related Named-Entity Recognition database (CrimeNERdb) consisting of more than 1.5k annotated documents for the NER task extracted from public reports on terrorist attacks and the U.S. Department of Justice's press notes. We define 5 types of coarse crime entity and a total of 22 types of fine-grained entity. We address the quality of the case-study and the annotated data with experiments on Zero and Few-Shot settings with State-of-the-Art NER models as well as generalist and commonly used Large Language Models.

研究动机与目标

• 创建一个来自 DOJ 与 GTD 来源的具有现实域内容的一般犯罪相关命名实体识别数据集。
• 定义两级实体分类法（粗粒度：5类；细粒度：22类）并提供标注指南。
• 在 CrimeNERdb 上使用最先进模型和大型语言模型对零样本与少样本NER性能进行基准评估。

提出的方法

• 从 DOJ 新闻稿和 GTD 恐怖分子报告中整理 CrimeNERdb，经筛选后达到1.5k+ 文档以去除噪声。
• 定义两级实体分类法：粗粒度（犯罪、角色、行动者、机构、物流）和22个细粒度类型。
• 使用 Doccano 对标注的标记进行嵌套实体标注，支持嵌套/重叠的NER标签。
• 使用多种模型评估零样本与少样本NER：NUNER 和通用型LLM（GPT-4o-Mini、GPT-4.1-Mini、Gemini-2.5-Flash），以及用于少样本的 CONTaiNER。
• 在细粒度评估中，零样本时以 GPT-4.1-Mini作为LLM中表现最佳者；使用 GPT-4o-Mini 进行1/5/10-shot 实验；与 CONTaiNER 的少样本比较。

实验结果

研究问题

• RQ1 CrimeNERdb 是否能提供高质量、人工标注的通用犯罪相关NER数据，超越网络安全领域范围？
• RQ2 零样本和少样本NER模型（包括大型语言模型）在粗粒度和细粒度犯罪实体类型上的表现如何？
• RQ3 专用NER模型与通用型LLM在该领域的相对性能如何？
• RQ4 标注数据是否适合作为基准测试以及未来多模态/多语言扩展的基础？

主要发现

Entity type	# Entity spans	# Tokens	# Documents
Crime	1377	6013	876
Actor	1416	2634	854
Agent	526	2932	330
Agency	808	2955	549
Logistic	1888	4009	927

• CrimeNERdb 包含1,568份文档，涵盖6,013个 Crime 实体标记、2,634个 Actor 标记、2,932个 Agent 标记、2,955个 Agency 标记、4,009个 Logistic 标记，覆盖876–927份文档的粗粒度类型。
• 零样本结果显示 GPT-4.1-Mini 在粗粒度实体上获得报告的LLM中最强的 F1（例如 F1 高达 28.32），而 NUNER 在非常有限的训练类型下也取得了具竞争力的分数。
• 细粒度的零样本结果显示 Logistic 是最具标签精度的类型，而与犯罪相关的细粒度类型普遍更难标注。
• 在少样本方面，CONTaiNER 和 GPT-4o-Mini 在1-shot与5-shot设置中常常优于其他方法；在10-shot 的某些配置中，CONTaiNER 超越 GPT-4o-Mini；GPT-4o-Mini 对若干细粒度集合表现强劲。
• 总体而言，与既有基线和LLMs 的竞争基准相比，该数据集的质量得到验证。
• 研究结果证实 CrimeNERdb 作为犯罪领域NER研究资源的可行性，以及未来多模态/多语言扩展的基线。