[论文解读] RxnScribe: A Sequence Generation Model for Reaction Diagram Parsing

Yujie Qian, Jiang Guo+3 more|arXiv (Cornell University)|May 19, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

RxnScribe 提出了一种序列生成模型，用于将化学反应图谱端到端解析为结构化反应方案，将该任务建模为使用实体和角色的标记化表示的序列到序列预测。该模型在包含1,378幅图谱的多样化数据集上取得了80.0%的软匹配F1分数，显著优于先前方法，尤其在复杂图示风格上表现突出，其强大的泛化能力得益于组合式数据增强策略。

ABSTRACT

Reaction diagram parsing is the task of extracting reaction schemes from a diagram in the chemistry literature. The reaction diagrams can be arbitrarily complex, thus robustly parsing them into structured data is an open challenge. In this paper, we present RxnScribe, a machine learning model for parsing reaction diagrams of varying styles. We formulate this structured prediction task with a sequence generation approach, which condenses the traditional pipeline into an end-to-end model. We train RxnScribe on a dataset of 1,378 diagrams and evaluate it with cross validation, achieving an 80.0% soft match F1 score, with significant improvements over previous models. Our code and data are publicly available at https://github.com/thomas0809/RxnScribe.

研究动机与目标

• 开发一种通用的机器学习模型，能够稳健地从文献中解析多样化的化学反应图谱。
• 通过将实体识别与关系预测统一为端到端的序列生成框架，解决传统流水线方法中误差传播的问题。
• 构建一个大规模、专家标注的1,378幅反应图谱数据集，涵盖四种风格（单行、多行、树状、图示），用于模型训练与评估。
• 通过一种新颖的组合式数据增强策略，提升模型在罕见或复杂图谱类型上的泛化能力与性能。

提出的方法

• 将反应图谱解析建模为序列生成任务，其中每个反应以编码实体类型、角色（反应物/产物/条件）、边界框坐标和内容的标记序列表示。
• 定义一种离散序列表示，以结构化、顺序化的方式编码分子结构、文本和反应角色，作为模型输入。
• 训练基于Transformer的序列生成模型（如T5或类似模型），根据图谱图像预测完整的反应序列。
• 对预测的边界框使用现成工具——MolScribe用于分子结构识别，OCR用于文本提取——以生成最终的SMILES和文本输出。
• 应用一种组合式数据增强策略，将简单图谱组合为更复杂的图谱，以提升训练数据的多样性，并改善对罕见图谱风格的性能。
• 采用五折交叉验证进行评估，重点衡量反应结构预测的准确性，使用软匹配F1分数作为指标。

Figure 1 : Examples of reaction diagrams in chemistry literature. We summarize four common styles of reaction diagrams: single-line, multiple-line, tree, and graph. The example diagrams are adapted with permission from Faizi et al. 1 [Copyright © 2016 American Chemical Society], Armitage et al. 2 [C

实验结果

研究问题

• RQ1 序列生成模型能否有效将多种反应图谱风格统一到单一端到端框架中？
• RQ2 与传统流水线方法相比，所提出的序列表示在鲁棒性与误差传播方面表现如何？
• RQ3 组合式数据增强在多大程度上提升了模型泛化能力，尤其是在低资源图谱风格（如图示或树状结构）上？
• RQ4 基于序列的解析在真实世界、复杂的文献图谱上的性能上限是什么？
• RQ5 随着训练数据量和图谱复杂度的增加，模型性能如何变化？

主要发现

• RxnScribe在完整数据集上取得了80.0%的软匹配F1分数，显著优于先前模型，后者在同一基准测试中的得分低于10%。
• 模型在单行图谱上表现最佳（F1为91.0%），在图示风格图谱上也表现出色（F1为65.9%），表明其在复杂图谱风格中仍具备强大鲁棒性。
• 组合式数据增强显著提升了对复杂图谱风格（树状、多行、图示）的性能，但在简单单行图谱上提升较小。
• 随着训练数据增多，性能持续提升，尤其在多反应图谱上表现更优，表明未来使用更大数据集仍有显著增益潜力。
• 即使在低资源图谱风格上，模型也表现出良好泛化能力——在最小数据组（图示风格，102个样本）上F1超过60%，凸显了序列生成方法的有效性。

Figure 2 : Overview of reaction diagram parsing. The input is a reaction diagram, and the output is a list of reactions. The example diagram is from a journal article. 1