[论文解读] SuperMat: Construction of a linked annotated dataset from superconductors-related publications

Foppiano, Luca, Dieb, Sae+10 more|arXiv (Cornell University)|Jan 7, 2021

Seismic Performance and Analysis参考文献 17被引用 1

一句话总结

SuperMat 提供了一个高质量、结构化链接、带注释的数据集，涵盖142篇高温超导材料相关论文，共提取16,052个实体和1,398条语义链接，涵盖材料名称、类别、性质、临界温度（Tc）及参数条件。该数据集通过专家验证的注释流程与辅助工具及指南构建，支持先进的文本与数据挖掘，推动基于数据的超导材料发现。

ABSTRACT

A growing number of papers are published in the area of superconducting materials science. However, novel text and data mining (TDM) processes are still needed to efficiently access and exploit this accumulated knowledge, paving the way towards data-driven materials design. Herein, we present SuperMat (Superconductor Materials), an annotated corpus of linked data derived from scientific publications on superconductors, which comprises 142 articles, 16052 entities, and 1398 links that are characterised into six categories: the names, classes, and properties of materials; links to their respective superconducting critical temperature (Tc); and parametric conditions such as applied pressure or measurement methods. The construction of SuperMat resulted from a fruitful collaboration between computer scientists and material scientists, and its high quality is ensured through validation by domain experts. The quality of the annotation guidelines was ensured by satisfactory Inter Annotator Agreement (IAA) between the annotators and the domain experts. SuperMat includes the dataset, annotation guidelines, and annotation support tools that use automatic suggestions to help minimise human errors.

研究动机与目标

• 解决超导材料科学中文本与数据挖掘（TDM）领域缺乏标准化、高质量数据集的问题。
• 克服现有资源的局限性，如仅限于摘要、缺乏实体链接或仅关注化学实体。
• 构建一个动态、可扩展的基础设施，以支持自动化知识提取，并加速基于数据的材料设计。
• 通过专家验证和严格的标注者间一致性（IAA）协议，确保高质量标注。
• 通过将材料与其性质、Tc值及实验条件关联，实现精确、语义丰富的搜索与分析。

提出的方法

• 使用 biblio-glutton 和 Grobid 从142篇超导材料相关科学论文中获取全文PDF，并进行解析与元数据提取。
• 采用 TEI（文本编码倡议）XML 格式对文档进行结构化处理，以保留原始文档结构。
• 为六类实体（材料名称、类别、性质、Tc值及参数条件，如压力、测量方法）制定详细的标注指南。
• 开发标注支持工具（INCEpTION），通过自动建议功能减少人为错误并提高一致性。
• 使用 DkPro 统计库进行标注者间一致性（IAA）分析，比较专家、非专家与新手的标注表现。
• 所有标注均经领域专家审查，确保数据高质量、可靠，适用于下游TDM应用。

实验结果

研究问题

• RQ1 能否系统性地构建一个高质量、结构化链接且带注释的超导材料文献数据集，以支持文本与数据挖掘？
• RQ2 领域专业知识在复杂材料科学文本中的标注质量与标注者间一致性（IAA）方面有何影响？
• RQ3 标注工具中的自动建议功能在多大程度上可减少人为错误并提高实体与关系标注的一致性？
• RQ4 上下文复杂性（如数学符号、修饰语）对临界温度（Tc）值标注准确性有何影响？
• RQ5 标注指南与工具能否使新手达到与领域专家一致的高水平一致性，从而支持可扩展的数据整理？

主要发现

• SuperMat 数据集包含142篇全文文献，共16,052个标注实体（7,166个唯一实体）及1,398条语义链接，覆盖六类实体类别。
• 专家与标注数据之间的标注者间一致性（IAA）平均达到0.95，显著高于非专家（0.89）与新手（0.90）。
• 当仅使用指南与标注工具时，新手与专家的平均IAA达到0.90，表明标注框架具有高度清晰性与完整性。
• Tc值标注的IAA最低（0.75），主要因上下文模糊、数学符号（~、<、>）及修饰语（如“高达”）导致，凸显数值歧义消解的挑战。
• 配备自动建议功能的标注工具显著降低了人为错误并提升了标注一致性，尤其在复杂或模糊实体上表现突出。
• 该数据集、指南与工具已开源发布于 GitHub 与 Read the Docs，支持可复现性，并可扩展至其他材料领域。