[论文解读] TransMA: an explainable multi-modal deep learning model for predicting properties of ionizable lipid nanoparticles in mRNA delivery

Kun Wu, Zixu Wang+5 more|arXiv (Cornell University)|Jul 8, 2024

RNA Interference and Gene DeliveryBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

TransMA 是一种新颖的可解释多模态深度学习模型，通过分别使用分子 3D Transformer 和分子 Mamba 融合分子的 3D 空间特征与 1D 顺序特征，并引入一种新型分子注意力机制实现特征对齐，从而预测可电离脂质纳米颗粒（LNPs）的转染效率。该模型在现有最大的 LNP 数据集上实现了最先进性能，并识别出导致转染效率变化的关键原子，尤其是在转染悬崖对中表现突出。

ABSTRACT

As the primary mRNA delivery vehicles, ionizable lipid nanoparticles (LNPs) exhibit excellent safety, high transfection efficiency, and strong immune response induction. However, the screening process for LNPs is time-consuming and costly. To expedite the identification of high-transfection-efficiency mRNA drug delivery systems, we propose an explainable LNPs transfection efficiency prediction model, called TransMA. TransMA employs a multi-modal molecular structure fusion architecture, wherein the fine-grained atomic spatial relationship extractor named molecule 3D Transformer captures three-dimensional spatial features of the molecule, and the coarse-grained atomic sequence extractor named molecule Mamba captures one-dimensional molecular features. We design the mol-attention mechanism block, enabling it to align coarse and fine-grained atomic features and captures relationships between atomic spatial and sequential structures. TransMA achieves state-of-the-art performance in predicting transfection efficiency using the scaffold and cliff data splitting methods on the current largest LNPs dataset, including Hela and RAW cell lines. Moreover, we find that TransMA captures the relationship between subtle structural changes and significant transfection efficiency variations, providing valuable insights for LNPs design. Additionally, TransMA's predictions on external transfection efficiency data maintain a consistent order with actual transfection efficiencies, demonstrating its robust generalization capability. The code, model and data are made publicly available at https://github.com/wklix/TransMA/tree/master. We hope that high-accuracy transfection prediction models in the future can aid in LNPs design and initial screening, thereby assisting in accelerating the mRNA design process.

研究动机与目标

• 通过实现对可电离脂质纳米颗粒（LNP）转染效率的准确、自动化预测，加速高效 mRNA 递送系统的发现。
• 通过将多模态分子特征——3D 空间特征与 1D 顺序表示——整合到统一架构中，解决现有模型的局限性。
• 通过识别驱动转染效率显著变化的特定原子，提升模型可解释性，尤其在转染悬崖对中表现突出。
• 通过在不同细胞系和制剂条件下对未参与训练的外部数据集进行验证，提升模型泛化能力。

提出的方法

• TransMA 采用多模态分子结构融合架构，结合分子 3D Transformer 以提取分子结构的细粒度 3D 空间特征。
• 采用分子 Mamba 模型捕捉粗粒度的一维分子序列特征。
• 设计了一种新型分子注意力机制模块，通过计算原子表征之间的注意力，实现 3D 空间特征与 1D 顺序特征的对齐与融合。
• 模型在当前最大的 LNP 数据集上进行训练，采用骨架（scaffold）和悬崖（cliff）数据划分协议，以评估其鲁棒性与泛化能力。
• 通过分析分子注意力模块中的注意力分数，实现可解释性，识别出对转染效率变化最具影响力的原子。
• 在训练过程中未见的 15 个 LNP 数据集上进行外部验证，将预测结果与报告的转染效率进行对比。

Figure 1: The model takes as input multimodal structural information of ionizable lipids, including three-dimensional structural details: atomic type sequences, three-dimensional coordinates, distance matrices, bond type matrices, and one-dimensional SMILES representation molecular structural inform

实验结果

研究问题

• RQ1 能否通过融合 3D 空间与 1D 顺序分子特征的多模态深度学习模型，在预测 LNP 转染效率方面超越现有模型？
• RQ2 模型中的注意力机制在多大程度上能够识别出导致转染效率显著差异的特定原子，尤其是在转染悬崖对中？
• RQ3 该模型是否能很好地泛化到训练过程中未使用的外部数据集，特别是在不同细胞系和制剂条件下？
• RQ4 微小的结构变化（如单个碳或氮原子的差异）如何转化为显著的转染效率差异？模型能否检测到这些变化？

主要发现

• TransMA 在现有最大的 LNP 数据集上实现了预测转染效率的最先进性能，在骨架和悬崖数据划分协议下均优于先前模型（如 AGILE 和 TransLNP）。
• 模型在未微调的情况下，对外部数据集保持高预测准确性，且在不同细胞系和制剂条件下，预测值与真实值的相对排序保持一致。
• 在转染悬崖对中，注意力分数较高的原子（如 0.84 和 0.86）对应于结构差异（一个 C 原子和一个 N 原子），证实了模型识别关键驱动原子的能力。
• 悬崖对中两个分子之间的转染效率差异最高可达 10^3.89 倍，而 TransMA 正确预测了效率更高的分子，表明其对极端结构变化具有鲁棒性。
• 分子注意力机制有效融合了多模态特征，揭示了原子级结构与转染效率之间的关键关系，对理性设计 LNP 至关重要。
• 尽管性能优异，预测准确性仍受限于数据集稀缺性以及转染悬崖本身的固有挑战，即微小结构变化可导致效率发生巨大波动。

Figure 2: Left: The architecture of the molecule 3D Transformer adopts a pre-training and fine-tuning approach. The pre-training task involves masked language modeling and noise coordinate prediction. Fine-tuning is conducted using molecular prediction heads for transfection efficiency prediction. R