[论文解读] Scientific Statement Classification over arXiv.org

Deyan Ginev, Bruce R. Miller|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 11被引用 5

一句话总结

本文提出了一项大规模科学语句分类任务，针对1040万篇arXiv预印本段落，利用作者标注的LaTeX标记将其划分为13个类别。该方法采用BiLSTM编码器-解码器模型，实现了SOTA级别的F1得分0.91，并提出了一种公式词素序列化方法，以增强上下文感知建模能力。

ABSTRACT

We introduce a new classification task for scientific statements and release a large-scale dataset for supervised learning. Our resource is derived from a machine-readable representation of the arXiv.org collection of preprint articles. We explore fifty author-annotated categories and empirically motivate a task design of grouping 10.5 million annotated paragraphs into thirteen classes. We demonstrate that the task setup aligns with known success rates from the state of the art, peaking at a 0.91 F1-score via a BiLSTM encoder-decoder model. Additionally, we introduce a lexeme serialization for mathematical formulas, and observe that context-aware models could improve when also trained on the symbolic modality. Finally, we discuss the limitations of both data and task design, and outline potential directions towards increasingly complex models of scientific discourse, beyond isolated statements.

研究动机与目标

• 建立一项大规模、监督式的科学语句分类任务，基于可机器读取的arXiv预印本。
• 利用作者提供的LaTeX标记（例如\newtheorem）高可靠地提取并标注1040万条科学语句。
• 创建可复现的、公开的数据集与基础设施，以支持未来科学话语的NLP研究。
• 探索将符号化数学表达式整合到神经序列模型中的方法，以提升性能。
• 通过将任务从孤立语句扩展至文档级序列分类，实现上下文感知建模。

提出的方法

• 使用arXMLiv HTML5数据集从120万篇arXiv预印本中提取1040万段文本，保留结构化标记。
• 将500多个LaTeX环境名称映射至44种标准语句类型（如定理、定义）和12种节标题（如引言），最终归类为13个类别。
• 使用llamapun工具包对文本进行预处理，以匹配GloVe词嵌入，并应用语言检测仅保留英文段落。
• 实现BiLSTM编码器-解码器模型进行序列分类，在测试集上取得最佳F1得分为0.91。
• 提出一种词素序列化方法，将数学公式表示为结构化的符号标记，以集成到神经网络模型中。
• 使用XPath查询从标记为语义类别的HTML元素（如'theorem'、'section'）中可靠提取内容，确保高标注保真度。

实验结果

研究问题

• RQ1 能否基于arXiv预印本中作者标注的LaTeX标记，可靠地构建一项大规模、监督式的语句分类任务？
• RQ2 当在该数据集上训练时，神经序列模型在科学语句分类任务上的性能上限是什么？
• RQ3 在科学文本分类中，整合数学公式的符号化表示如何影响模型性能？
• RQ4 文档级上下文（如段落顺序、节结构）在多大程度上能提升孤立语句建模之外的分类性能？
• RQ5 所提出的数据集与基础设施能否支持可复现的、社区驱动的科学话语理解研究？

主要发现

• 所提出的科学语句分类任务在使用BiLSTM编码器-解码器模型时，达到了0.91的峰值F1得分，证明了其在大规模真实数据集上的强大性能。
• 该数据集包含1040万条跨13个类别的标注段落，源自120万篇arXiv预印本，基于可靠的作者提供标记。
• 使用词素序列化表示数学公式在同时训练文本与符号模态时，显示出提升上下文感知模型的潜力。
• 任务设计成功利用了arXiv LaTeX源文件的结构丰富性，通过标准化标记实现了高精度的科学语句提取。
• 该数据集及相关工具已公开发布，附带开源代码与在线演示，支持可复现研究与社区扩展。
• 局限性包括处理边缘情况（如以关键词开头的摘要）的挑战，以及未来在文档级上下文建模方面仍需进一步工作。