[论文解读] Towards explainable message passing networks for predicting carbon dioxide adsorption in metal-organic frameworks

Ali Raza, Faaiq Waqar+3 more|arXiv (Cornell University)|Dec 2, 2020

Metal-Organic Frameworks: Synthesis and Applications被引用 7

一句话总结

本文提出一种在读出函数中引入软注意力机制的消息传递神经网络（MPNN），用于预测金属-有机框架（MOFs）中的CO2吸附性能，旨在通过识别关键原子亚结构来提升模型的可解释性。该模型在模拟的CO2吸附数据上实现了0.616 mmol/g的平均绝对偏差（MAD），稀疏注意力机制有助于识别相关节点，但由于消息传递传播和节点相似性的影响，注意力分数在化学意义上可解释性有限。

ABSTRACT

Metal-organic framework (MOFs) are nanoporous materials that could be used to capture carbon dioxide from the exhaust gas of fossil fuel power plants to mitigate climate change. In this work, we design and train a message passing neural network (MPNN) to predict simulated CO$_2$ adsorption in MOFs. Towards providing insights into what substructures of the MOFs are important for the prediction, we introduce a soft attention mechanism into the readout function that quantifies the contributions of the node representations towards the graph representations. We investigate different mechanisms for sparse attention to ensure only the most relevant substructures are identified.

研究动机与目标

• 开发一种无需人工特征工程的机器学习模型，利用图神经网络预测MOFs中的CO2吸附性能。
• 通过注意力机制识别对预测贡献最大的原子亚结构，以增强模型的可解释性。
• 探究MPNN中的注意力分数是否能够可靠地突出MOFs中化学上有意义的结构片段。
• 评估不同的注意力机制——softmax、sparsemax和L0.5正则化——在预测精度与注意力分数稀疏性之间的平衡效果。
• 探讨注意力机制在MPNN中用于解释材料科学应用预测结果时的局限性。

提出的方法

• MPNN将MOF晶体结构处理为无向、节点标记的图，其中节点代表原子，边根据共价半径和Voronoi面共享关系形成。
• 节点特征为原子元素的一维编码，消息传递通过T=4层迭代更新节点表示，聚合邻近节点的信息。
• 在读出函数中集成软注意力机制，其中注意力权重αv量化每个节点最终表示对最终图级别预测的贡献。
• 图表示r通过使用注意力分数对节点表示进行加权求和计算得出，随后经过softplus变换以确保吸附预测值为正。
• 评估了三种注意力机制：标准softmax、sparsemax（诱导94%的稀疏性）以及L0.5正则化（λ=0.001和λ=0.05），以控制稀疏性并权衡精度。
• 模型训练采用10折交叉验证，损失函数为平均绝对偏差（MAD），并通过超参数搜索确定超参数（r=10, k=70, T=4）。

实验结果

研究问题

• RQ1 MPNN中的注意力机制是否能有效突出MOFs中与CO2吸附相关的化学上相关的亚结构？
• RQ2 不同的注意力机制——softmax、sparsemax和L0.5正则化——如何影响预测精度与注意力稀疏性之间的平衡？
• RQ3 在消息传递传播的影响下，注意力分数在多大程度上反映了原子节点在决定CO2吸附性能中的真实重要性？
• RQ4 尽管设计用于可解释性，为何注意力分数在识别化学上有意义的结构片段方面表现不一致？
• RQ5 在MPNN中引入捷径消息传递是否能提升节点层面贡献的可解释性，以用于材料预测？

主要发现

• 采用softmax注意力的MPNN在测试数据上取得了最佳预测性能，平均绝对偏差（MAD）为0.616 mmol/g，表明其具有强大的回归能力。
• sparsemax机制诱导了高稀疏性（94%的注意力分数为零），但导致更高的MAD（0.666 mmol/g），表明稀疏性与精度之间存在权衡。
• 采用λ=0.001的L0.5正则化将注意力熵降低至0.72，同时保持MAD为0.645 mmol/g，表明可在不显著损失精度的前提下实现可控的稀疏性。
• 尽管采用了注意力机制，但在MOFs中未观察到注意力分数中一致的化学上有意义的模式，表明其在亚结构识别方面的可解释性有限。
• 作者将可解释性差的原因归因于消息传递在邻近节点间传播信息，导致节点表示相似，从而掩盖了单个节点的重要性。
• 研究结论认为，当前MPNN中的注意力机制在MOF性能预测中尚不足以提供可靠的解释，提示未来需探索通过捷径消息传递来隔离节点贡献的方法。