[论文解读] SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language

Ulugbek Salaev, Elmurod Kuriyozov+1 more|arXiv (Cornell University)|May 12, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本论文介绍了 SimRelUz，这是首个公开可用的乌兹别克语语义评估数据集，包含由11位母语者标注的1,418对词语的语义相似度与相关度。该数据集涵盖多样的词类、词形、频率（包括罕见词和未登录词）以及语义关系，语义相似度的评分者间一致性（inter-annotator agreement）得分为0.71，相关度得分为0.69，显示出对自然语言处理模型评估具有很强的可靠性。

ABSTRACT

Semantic relatedness between words is one of the core concepts in natural language processing, thus making semantic evaluation an important task. In this paper, we present a semantic model evaluation dataset: SimRelUz - a collection of similarity and relatedness scores of word pairs for the low-resource Uzbek language. The dataset consists of more than a thousand pairs of words carefully selected based on their morphological features, occurrence frequency, semantic relation, as well as annotated by eleven native Uzbek speakers from different age groups and gender. We also paid attention to the problem of dealing with rare words and out-of-vocabulary words to thoroughly evaluate the robustness of semantic models.

研究动机与目标

• 为解决低资源语言，特别是拥有三千万多名使用者、词形丰富的突厥语系语言乌兹别克语，缺乏语义评估数据集的问题。
• 创建一个可靠、公开可用的乌兹别克语词语对语义相似度与相关度评分数据集，涵盖罕见词和未登录词（OOV）。
• 开发并发布一个开源的基于网络的标注工具，支持多用户、可扩展的语义评估。
• 支持语义模型的内在与外在评估，并为未来构建类似乌兹别克语 WordNet 的知识库提供支持。
• 通过包含多样化的词形与频率相关的词语对，确保语义模型评估的稳健性。

提出的方法

• 开发了一个基于网络的问卷应用，使11位乌兹别克语母语者能够以0–10分制对1,418对词语在相似度和相关度两个维度进行评分。
• 词语对的选择基于词形特征、词频（高、中、低、罕见、OOV）以及预设的语义关系（如同义、反义、上下位关系等）。
• 标注者涵盖不同年龄和性别背景的母语者，以确保语言覆盖范围广泛并减少偏差。
• 最终评分取每位词语对所有11位标注者评分的平均值，通过评分者间一致性（APIA）计算验证其可靠性。
• 在 Sim-Rel 向量空间中对数据集进行可视化，以评估语义聚类效果与评分的一致性。
• 源代码与数据集已公开发布于 GitHub，供自然语言处理社区复用与扩展。

实验结果

研究问题

• RQ1 在乌兹别克语作为低资源、词形丰富的语言的背景下，如何构建一个可靠的语义评估数据集？
• RQ2 人工标注的相似度与相关度评分在多大程度上与预设的乌兹别克语词语对语义关系一致？
• RQ3 标注者能否对未登录词（OOV）进行一致评分？他们在罕见词或低频词上的表现如何？
• RQ4 在标注者数量适中、资源有限的语言环境下，评分者间一致性能达到何种水平？
• RQ5 最终生成的评分在 Sim-Rel 向量空间中是否能准确反映预期的语义聚类？

主要发现

• SimRelUz 数据集包含1,418对词语，涵盖名词、形容词和动词，具有多样的词形与频率层级，包括罕见词和未登录词。
• 该数据集在语义相似度上的评分者间一致性（APIA）得分为0.71，在相关度上为0.69，表明其具有很强的可靠性。
• 在 Sim-Rel 向量空间中的可视化分布表明，词语对根据其预设的语义关系形成聚类，无关对与相关对之间重叠极少。
• 没有任何一对词语被标记为相似但不相关，证实了标注的一致性与逻辑合理性。
• 标注者对未登录词的处理具有一致性，其评分方式与常规词汇无异，支持该数据集在模型评估中的稳健性。
• 数据集与基于网络的标注工具已公开发布于 GitHub，支持未来在乌兹别克语自然语言处理领域的研究与模型评估。