[论文解读] Rule Based Metadata Extraction Framework from Academic Articles

Jahongir Azimjonov, Jumabek Alikhanov|arXiv (Cornell University)|Jul 24, 2018

Semantic Web and Ontologies参考文献 13被引用 4

一句话总结

本文提出了一种免费、开源、基于 Java 的规则驱动框架，用于从学术 PDF 中高效提取元数据。该框架利用布局、字体和大小启发式方法进行标题检测，并采用固定规则集提取摘要、关键词、结论和参考文献，处理速度比现有系统快 9–10 倍，同时支持无限量 PDF 上传，并将结果以 Oracle 和 XML 格式存储。

ABSTRACT

Metadata of scientific articles such as title, abstract, keywords or index terms, body text, conclusion, reference and others play a decisive role in collecting, managing and storing academic data in scientific databases, academic journals and digital libraries. An accurate extraction of these kinds of data from scientific papers is crucial to organize and retrieve important scientific information for researchers as well as librarians. Research social network systems and academic digital library systems provide academic data extracting, organizing and retrieving services. Mostly these types of services are not free or open source. They also have some performance problems and extracting limitations in the number of PDF (Portable Document Format) files that you can upload to the extraction systems. In this paper, a completely free and open source Java based high performance metadata extraction framework is proposed. This frameworks extraction speed is 9-10 times faster than existing metadata extraction systems. It is also flexible in that it allows uploading of unlimited number of PDF files. In this approach, titles of papers are extracted using layout features, font and size characteristics of text. Other metadata fields such as abstracts, body text, keywords, conclusions and references are extracted from PDF files using fixed rule sets. Extracted metadata are stored in both Oracle database and XML (Extensible Markup Language) file. This framework can be used to make scientific collections in digital libraries, online journals, online and offline scientific databases, government research agencies and research centers.

研究动机与目标

• 解决学术 PDF 元数据提取方案中缺乏免费、开源且可扩展解决方案的问题。
• 克服现有商业或专有系统中存在的性能瓶颈和文件上传限制。
• 实现对标题、摘要、关键词、正文、结论和参考文献等元数据字段的高效、准确且可扩展的提取。
• 为大规模数字图书馆和研究数据库建设提供可靠、结构化的元数据支持。
• 提供一种灵活、高性能的解决方案，可部署于离线和在线学术系统中。

提出的方法

• 标题提取利用布局特征、字体类型和文本大小识别并分离标题部分。
• 其他元数据字段（摘要、关键词、正文、结论、参考文献）基于 PDF 中的结构和文本模式，使用预定义的规则集进行提取。
• 该框架使用基于 Java 的处理管道，从 PDF 结构中解析文本和布局信息。
• 提取的元数据以 Oracle 数据库和 XML 文件格式持久化存储，以实现互操作性和长期存储。
• 该系统设计用于处理无限数量的 PDF 文件，消除了商业工具中常见的上传限制。
• 该框架模块化且可扩展，支持根据不同期刊格式或元数据标准自定义规则集。

实验结果

研究问题

• RQ1 基于规则的系统能否显著优于现有元数据提取工具的处理速度？
• RQ2 免费且开源的框架能否在不依赖商业或专有软件的情况下有效提取学术 PDF 的关键元数据字段？
• RQ3 基于布局和字体的启发式方法在多种学术 PDF 格式中能在多大程度上提升标题检测的准确性？
• RQ4 在处理大量 PDF 文件时，该系统的可扩展性表现如何？
• RQ5 该框架能否同时支持结构化数据库存储和标准 XML 输出，以满足多样化下游应用的需求？

主要发现

• 与现有系统相比，该框架的元数据提取速度提高了 9–10 倍。
• 系统支持无限量 PDF 文件上传，克服了商业工具的主要限制。
• 由于采用基于布局、字体和大小的启发式方法，标题提取具有高度准确性。
• 该框架成功使用固定规则集提取了包括摘要、关键词、结论和参考文献在内的结构化元数据字段。
• 提取的元数据可靠地存储在 Oracle 数据库和 XML 格式中，可与多样化的数字图书馆和研究系统集成。
• 该系统完全开源且免费使用，支持在学术机构、政府机构和研究机构中部署。