[论文解读] YEDDA: A Lightweight Collaborative Text Span Annotation Tool

Jie Yang, Yue Zhang+2 more|arXiv (Cornell University)|Nov 10, 2017

Natural Language Processing Techniques参考文献 11被引用 13

一句话总结

Yedda 是一款轻量级、开源的协作式文本跨度标注工具，通过键盘快捷键、命令行集成和实时系统推荐提升标注效率。与现有工具相比，其标注时间减少50%，在使用智能推荐时额外提升16.47%；同时提供管理员工具包，用于质量评估和标注者输出的成对比较。

ABSTRACT

In this paper, we introduce extsc{Yedda}, a lightweight but efficient and comprehensive open-source tool for text span annotation. extsc{Yedda} provides a systematic solution for text span annotation, ranging from collaborative user annotation to administrator evaluation and analysis. It overcomes the low efficiency of traditional text annotation tools by annotating entities through both command line and shortcut keys, which are configurable with custom labels. extsc{Yedda} also gives intelligent recommendations by learning the up-to-date annotated text. An administrator client is developed to evaluate annotation quality of multiple annotators and generate detailed comparison report for each annotator pair. Experiments show that the proposed system can reduce the annotation time by half compared with existing annotation tools. And the annotation time can be further compressed by 16.47\% through intelligent recommendation.

研究动机与目标

• 解决现有文本标注工具在效率和标注后分析方面的不足。
• 减少大规模NLP数据收集中的标注时间，提升一致性。
• 提供支持协作标注和多标注者间详细质量评估的系统。
• 基于学习到的标注模式，集成实时系统推荐，以减少重复工作。
• 提供轻量级、平台无关的解决方案，系统配置要求最低。

提出的方法

• Yedda 采用基于图形界面的标注者接口，支持自定义键盘快捷键，实现快速标签分配和跨度编辑。
• 支持命令行批量标注，并与系统推荐引擎集成，基于历史标注学习实时推荐标签。
• 管理员工具包包含多标注者分析（MAA）模块，可计算所有标注者配对在完整和边界层级的F1分数。
• 成对标注者比较（PAC）工具可生成详细、彩色标注的报告，突出显示两份标注文件之间的一致与不一致之处。
• 标注数据以标准 .anns 格式导出，支持 BIO 和 BIOES 标注方案。
• 系统使用有监督序列标注模型（如CRF）进行主动学习，优先标注置信度低、模糊的句子。

实验结果

研究问题

• RQ1 如何提升大规模NLP数据收集中文本跨度标注的效率？
• RQ2 智能推荐在多大程度上可减少标注时间并提升一致性？
• RQ3 如何系统性地支持多标注者标注后的质量分析？
• RQ4 轻量级、跨平台的标注工具是否能在可用性和性能上超越现有工具？
• RQ5 实时系统推荐对减少标注者间分歧和工作量有何影响？

主要发现

• 在 CoNLL-2003 的100个句子控制实验中，Yedda 相较于现有工具将平均标注时间减少了50%。
• 在启用智能推荐后，100个句子的平均标注时间进一步减少了16.47%。
• 所有测试工具中，系统实现了高标注者间一致性（F1分数约96.1%），表明标注质量稳定。
• 多标注者分析（MAA）工具包能有效计算所有标注者配对在完整和边界层级的F1分数，支持系统化质量监控。
• 成对标注者比较（PAC）工具生成详细、彩色高亮的报告，能清晰可视化标注者输出之间的一致与不一致。
• 系统轻量（80KB）、平台无关，且无需复杂配置，便于新用户快速上手。