[论文解读] Research Project: Text Engineering Tool for Ontological Scientometry

Rustam Tagiew|arXiv (Cornell University)|Jan 1, 2015

Semantic Web and Ontologies参考文献 9被引用 2

一句话总结

本文提出了一种半自动文本工程工具，利用自然语言处理与基于本体的分类技术，按论文的贡献类型对科学论文进行分类，并提取它们之间的关系。通过结合自动化聚类与基于维基百科式界面的志愿者校正，该系统实现了可扩展的、基于本体的科研计量分析，涵盖补充材料，以改善科研发现与资助决策。

ABSTRACT

The number of scientific papers grows exponentially in many disciplines. The share of online available papers grows as well. At the same time, the period of time for a paper to loose at chance to be cited anymore shortens. The decay of the citing rate shows similarity to ultradiffusional processes as for other online contents in social networks. The distribution of papers per author shows similarity to the distribution of posts per user in social networks. The rate of uncited papers for online available papers grows while some papers 'go viral' in terms of being cited. Summarized, the practice of scientific publishing moves towards the domain of social networks. The goal of this project is to create a text engineering tool, which can semi-automatically categorize a paper according to its type of contribution and extract relationships between them into an ontological database. Semi-automatic categorization means that the mistakes made by automatic pre-categorization and relationship-extraction will be corrected through a wikipedia-like front-end by volunteers from general public. This tool should not only help researchers and the general public to find relevant supplementary material and peers faster, but also provide more information for research funding agencies.

研究动机与目标

• 通过创建一种语义化分类系统，解决科研产出与其实用可重用组件之间日益扩大的脱节问题，超越传统的引文指标。
• 克服当前科研计量实践的局限性，这些实践低估了数据集、算法和实验数据等补充材料的价值。
• 开发一个可扩展的、基于本体的知识库，以捕捉论文中实际工作的类型，从而实现更优的科研发现与资助分配。
• 引入一种混合模型，结合自动化文本聚类与公众志愿者参与的校正，以提高知识库的准确性和可维护性。
• 通过语义化结构化和与相应出版物及科研贡献的链接，促进科学数据的重用。

提出的方法

• 使用 NLP 流程，包括 pdftotext 和 ParsCit，从科研论文及其补充材料中提取并预处理文本。
• 应用聚类算法，基于论文所执行的实际工作类型（而非主题或引文模式）进行聚类，采用超越词袋模型的语义分析。
• 利用形式概念分析与语义技术，构建本体数据库，以表示论文、其贡献与补充材料之间的关系。
• 实现类似维基百科的前端界面，允许公众志愿者校正并扩充自动化分类与关系提取结果。
• 利用现有数据集（如 WEKA 的源代码和 CiteseerX）创建带标签的训练聚类（例如，MLalgo、Labbehaviour）以评估模型性能。
• 通过使用大数据基础设施、并行处理与 GPU 加速，将系统扩展至可处理最多 500 万篇论文，以实现性能优化。

实验结果

研究问题

• RQ1 如何自动根据论文所代表的实际贡献类型（如算法开发、实验数据收集或理论建模）对科研论文进行分类？
• RQ2 基于语义内容的自动化文本聚类在捕捉科研贡献真实本质方面，与基于主题或引文的聚类相比，其优越程度如何？
• RQ3 众包的、类似维基百科的界面能否在大规模、开放的科学知识库中有效校正并丰富自动化分类？
• RQ4 科研论文的引文衰减模式与社交媒体内容相比有何异同？这对科研计量建模有何启示？
• RQ5 在科研计量分析中纳入补充材料（如数据集、代码）会产生何种影响？如何系统性地将其整合进科研评估框架？

主要发现

• 科研论文的引文衰减率表现出与社交媒体中观察到的超扩散过程相似的模式，表明病毒式传播动力学对科研影响力的影响日益显著。
• 作者发表论文的数量分布与社交网络中用户发帖数量的分布相似，表明科研影响力正越来越多地受网络效应与可见性驱动，而不仅取决于内容质量。
• 大量在线发表的论文保持未被引用，而极少数论文获得极高引用次数，反映出类似在线内容病毒传播的‘长尾’分布特征。
• 补充材料（如数据集、算法和实验数据）通常比主文更具科学价值，但在传统科研计量评估中系统性地被低估。
• 对科学文献进行人工整理极为耗时且易受干扰，即使在专业聚类内部，内容的语义多样性与不可预测性也使其难以处理。
• 集成 pdftotext 和 ParsCit 等工具会产生噪声结果，尤其在摘要分类方面，因此需要更深入的文档分析与人工参与的验证，以确保结果可靠。