[论文解读] Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue

Shiwei Zhang, Mingfang Wu+1 more|arXiv (Cornell University)|Oct 17, 2023

Research Data Management Practices被引用 4

一句话总结

本文提出使用 GPT-3.5 搭配上下文学习提示，以自动化澳大利亚国家级数据目录中研究数据集的主题元数据标注。该方法在主题分类方面表现出色，但由于上下文信息不足，学科特定的准确性存在局限，标志着首次在该领域应用上下文学习进行自动化元数据标注。

ABSTRACT

In support of open and reproducible research, there has been a rapidly increasing number of datasets made available for research. As the availability of datasets increases, it becomes more important to have quality metadata for discovering and reusing them. Yet, it is a common issue that datasets often lack quality metadata due to limited resources for data curation. Meanwhile, technologies such as artificial intelligence and large language models (LLMs) are progressing rapidly. Recently, systems based on these technologies, such as ChatGPT, have demonstrated promising capabilities for certain data curation tasks. This paper proposes to leverage LLMs for cost-effective annotation of subject metadata through the LLM-based in-context learning. Our method employs GPT-3.5 with prompts designed for annotating subject metadata, demonstrating promising performance in automatic metadata annotation. However, models based on in-context learning cannot acquire discipline-specific rules, resulting in lower performance in several categories. This limitation arises from the limited contextual information available for subject inference. To the best of our knowledge, we are introducing, for the first time, an in-context learning method that harnesses large language models for automated subject metadata annotation.

研究动机与目标

• 为应对由于资源有限而导致的研究数据集元数据质量低下这一日益严峻的挑战。
• 探究利用大语言模型（LLMs）实现低成本、自动化的主题元数据标注的可行性。
• 评估在国家级数据目录背景下，大语言模型结合上下文学习在分类研究数据集主题方面的性能。
• 识别基于大语言模型的标注方法的局限性，特别是由于上下文信息不足而难以捕捉学科特定规则的问题。

提出的方法

• 采用 GPT-3.5 作为主题元数据标注的基础大语言模型。
• 设计针对任务的提示，利用上下文学习引导模型为数据集分配主题类别。
• 采用少样本提示法，通过示例提升零样本泛化能力，以优化主题分类。
• 将大语言模型应用于真实世界中的澳大利亚国家级研究数据目录，进行主题元数据标注。
• 通过与人工标注的基准数据对比，评估模型输出的准确性，并识别失败案例。
• 分析不同主题类别间的性能差异，以评估领域特定的局限性。

实验结果

研究问题

• RQ1 大语言模型结合上下文学习能否有效实现研究数据集主题元数据标注的自动化？
• RQ2 基于大语言模型的标注方法在数据目录中不同学术领域的表现如何变化？
• RQ3 上下文学习在捕捉学科特定元数据规则方面的主要局限性是什么？
• RQ4 大语言模型在多大程度上可减少国家级研究数据存储库的 manual 校对工作量？
• RQ5 提示中上下文信息的质量在多大程度上影响主题分类的准确性？

主要发现

• 基于大语言模型的方法在主题元数据标注中表现良好，展现出在多样化研究领域中的强大泛化能力。
• 在专业或小众学术领域中性能较低，原因在于提示中上下文线索不足。
• 模型难以学习学科特定规则，表明上下文学习在复杂元数据任务中存在关键局限。
• 具有更清晰语言模式的主题类别标注准确率更高，而术语模糊或重叠的主题类别准确率较低。
• 该方法显著减少了人工校对工作量，为大规模元数据增强提供了可扩展的解决方案。
• 本研究首次展示了在国家级研究数据基础设施中应用大语言模型结合上下文学习进行自动化主题元数据标注的实例。