[论文解读] NorDiaChange: Diachronic Semantic Change Dataset for Norwegian

Andrey Kutuzov, Samia Touileb+3 more|arXiv (Cornell University)|Jan 13, 2022

Natural Language Processing Techniques被引用 6

一句话总结

NorDiaChange 是首个针对挪威语的历时语义变化数据集，包含两个经人工标注的子集，约80个名词在时间跨度内呈现分级语义变化，采用 DURel 框架和历史语料库（NBdigital 与 NAK）构建。该数据集支持语义变化检测系统的监督式训练与评估，已全面发布并采用宽松许可证，包含原始标注数据与推断的历时词频使用图（DWUGs）。

ABSTRACT

We describe NorDiaChange: the first diachronic semantic change dataset for Norwegian. NorDiaChange comprises two novel subsets, covering about 80 Norwegian nouns manually annotated with graded semantic change over time. Both datasets follow the same annotation procedure and can be used interchangeably as train and test splits for each other. NorDiaChange covers the time periods related to pre- and post-war events, oil and gas discovery in Norway, and technological developments. The annotation was done using the DURel framework and two large historical Norwegian corpora. NorDiaChange is published in full under a permissive licence, complete with raw annotation data and inferred diachronic word usage graphs (DWUGs).

研究动机与目标

• 为自然语言处理研究中挪威语历时语义变化数据集的缺乏提供高质量、标准化的解决方案。
• 支持挪威语监督式语义变化检测系统的开发与评估。
• 提供与现有多语言数据集（如英语、德语、瑞典语）兼容的资源，采用 DURel 框架。
• 支持在挪威语上对上下文嵌入与语义变化检测模型进行微调。
• 通过提供经标注、时间结构化的挪威语词汇变化数据，支持历史语言学研究。

提出的方法

• 使用 DURel 框架对句子对中词语用法的语义相似性进行人工标注，该框架采用分级量表衡量语义相关性。
• 基于与重大历史事件（如石油发现、战后发展、技术变革）相关的预期语义演变，选择目标名词。
• 使用两个大型历史挪威语语料库：NBdigital（26,000+ 份公共领域文本）与挪威报纸语料库（NAK）进行句子采样。
• 创建两个独立数据集——子集1（1929–1965 与 1970–2013）和子集2（1980–1990 与 2012–2019），采用相同的标注流程。
• 基于标注判断，使用标准 DWUG 评分程序计算分级与二元语义变化得分。
• 以宽松许可证发布原始标注数据、推断的历时词频使用图（DWUGs）及完整元数据。

实验结果

研究问题

• RQ1 如何基于 DURel 框架构建一个标准化、高质量的挪威语历时语义变化数据集？
• RQ2 挪威语名词的语义变化在多大程度上与重大历史事件（如石油发现或技术变革）相吻合？
• RQ3 两个独立标注的挪威语数据集能否互换用作语义变化检测模型的训练集与测试集？
• RQ4 分级语义相似性判断在多大程度上能准确捕捉挪威语中随时间演变的细微语义变化？
• RQ5 NorDiaChange 在标注与评分流程方面，与现有多语言语义变化数据集的兼容性如何？

主要发现

• NorDiaChange 是首个公开可用、完全标注的挪威语历时语义变化数据集，覆盖两个不同时间段，采用一致的方法论。
• 两个子集（子集1 与 子集2）完全兼容，可互换用作训练集与测试集，支持监督式模型评估。
• 该数据集包含 80 个经人工标注的挪威语名词，附带基于 DURel 标注推导出的分级语义变化得分与二元变化指示符。
• 原始标注数据与推断的历时词频使用图（DWUGs）以宽松许可证公开发布，支持可重现性与在各类自然语言处理工作流中的集成。
• 该数据集支持对上下文嵌入与语义变化检测模型进行微调，其方法建立在 SemEval-2020 共享任务的成功经验之上。
• 标注过程成功捕捉了与历史事件相关的语义演变，如战后重建、石油经济的发展以及挪威的技术现代化。