[论文解读] Rxn Hypergraph: a Hypergraph Attention Model for Chemical Reaction Representation

Mohammadamin Tavakoli, А. Н. Шмаков+2 more|arXiv (Cornell University)|Jan 2, 2022

Machine Learning in Materials Science被引用 5

一句话总结

本文提出Rxn Hypergraph，一种超图注意力模型，通过使用排列不变、可解释且通用的基于图的结构来表示化学反应，实现了对反应性质的鲁棒且精确的预测。在反应分类和合理性排序任务中，其性能优于现有方法，在机理反应数据集上使用RGAT模型达到99.01%的top-10准确率。

ABSTRACT

It is fundamental for science and technology to be able to predict chemical reactions and their properties. To achieve such skills, it is important to develop good representations of chemical reactions, or good deep learning architectures that can learn such representations automatically from the data. There is currently no universal and widely adopted method for robustly representing chemical reactions. Most existing methods suffer from one or more drawbacks, such as: (1) lacking universality; (2) lacking robustness; (3) lacking interpretability; or (4) requiring excessive manual pre-processing. Here we exploit graph-based representations of molecular structures to develop and test a hypergraph attention neural network approach to solve at once the reaction representation and property-prediction problems, alleviating the aforementioned drawbacks. We evaluate this hypergraph representation in three experiments using three independent data sets of chemical reactions. In all experiments, the hypergraph-based approach matches or outperforms other representations and their corresponding models of chemical reactions while yielding interpretable multi-level representations.

研究动机与目标

• 解决深度学习中化学反应表征缺乏通用性、鲁棒性、可解释性以及低预处理需求的问题。
• 开发一种对原子和分子排列不变且避免手工特征工程的反应表征方法。
• 通过端到端可训练模型，实现对反应性质（如分类和合理性排序）的高性能预测。
• 通过注意力机制捕捉功能团相互作用和反应级模式，实现多层次可解释性。
• 在无需任务特定手工设计特征的情况下，实现跨多样化反应预测任务的泛化能力。

提出的方法

• 通过将反应物、产物和试剂建模为节点，以超边连接参与键变化的原子，构建反应超图（rxn-hypergraph）。
• 在超图上采用消息传递框架，基于局部和全局反应上下文更新原子表征。
• 应用图注意力网络（GAT）和关系图网络（RGCN）从rxn-hypergraph中学习潜在表征。
• 采用带反对称非线性的成对直接排序架构（DirectRanker）预测反应机理之间的相对合理性。
• 使用排序对投票方法将成对得分转换为全局一致的反应机理排序。
• 通过SHERPA框架进行贝叶斯优化以调整超参数，确保模型的鲁棒性与性能。

实验结果

研究问题

• RQ1 基于超图的化学反应表征是否能在无需手工预处理的情况下，实现通用性、排列不变性和鲁棒的表征学习？
• RQ2 在反应分类和合理性排序任务中，rxn-hypergraph表征与现有方法（如reactionFP、Morgan指纹、rxnfp）相比表现如何？
• RQ3 rxn-hypergraph在多大程度上支持可解释的注意力机制，以反映如功能团相互作用等化学上有意义的模式？
• RQ4 rxn-hypergraph能否在多样化数据集上支持反应级预测任务（包括分类和排序）的最先进性能？
• RQ5 在rxn-hypergraph上使用关系注意力和图注意力机制是否相比标准GNN或基于文本的模型，能带来更好的泛化能力和性能提升？

主要发现

• 使用RGCN的rxn-hypergraph表征在反应分类任务中达到98.8%的测试准确率，使用RGAT在合理性排序任务中达到99.0%的top-10准确率，优于所有基线模型。
• 在机理反应合理性排序任务中，基于rxn-hypergraph的RGAT模型达到84.23%的top-1准确率，显著优于次佳方法（使用预训练rxnfp的81.31%）。
• rxn-hypergraph模型在合理性排序任务中达到97.03%的top-5准确率，超过次佳方法（使用rxnfp的96.09%），展现出强大的泛化能力。
• 该模型在各类任务中表现稳健，分类与排序任务均持续提升，表明其具备通用性与适应性。
• rxn-hypergraph模型中的注意力机制提供了可解释的注意力模式，使研究人员能够洞察反应机理中的化学意义。
• 由于无需手工预处理步骤且对分子排列具有不变性，rxn-hypergraph表征在实际应用中兼具实用性与可扩展性。