[论文解读] Multimodal Large Language Models for Inverse Molecular Design with Retrosynthetic Planning

Gang Liu, Michael Sun+3 more|arXiv (Cornell University)|Oct 5, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

Llamole 是首个实现交错文本与图生成的多模态大语言模型（MLLM），用于逆向分子设计与逆合成规划。通过将基础大语言模型（LLM）与图扩散变换器（Graph Diffusion Transformers）及图神经网络（GNNs）相结合，并采用基于 LLM 的启发式函数的 A* 搜索，Llamole 在逆合成规划中的成功率提升至 35%（相较之前模型的 5.5%），同时在 12 项指标上将分子设计性能提升最高达 80.9%。

ABSTRACT

While large language models (LLMs) have integrated images, adapting them to graphs remains challenging, limiting their applications in materials and drug design. This difficulty stems from the need for coherent autoregressive generation across texts and graphs. To address this, we introduce Llamole, the first multimodal LLM capable of interleaved text and graph generation, enabling molecular inverse design with retrosynthetic planning. Llamole integrates a base LLM with the Graph Diffusion Transformer and Graph Neural Networks for multi-conditional molecular generation and reaction inference within texts, while the LLM, with enhanced molecular understanding, flexibly controls activation among the different graph modules. Additionally, Llamole integrates A* search with LLM-based cost functions for efficient retrosynthetic planning. We create benchmarking datasets and conduct extensive experiments to evaluate Llamole against in-context learning and supervised fine-tuning. Llamole significantly outperforms 14 adapted LLMs across 12 metrics for controllable molecular design and retrosynthetic planning.

研究动机与目标

• 为解决传统大语言模型（LLMs）在处理图结构分子数据时难以生成具有特定性质和可合成性的分子的问题。
• 开发一种能够实现交错文本与分子图生成的多模态 LLM，以支持可控的逆向分子设计。
• 将 A* 搜索与基于 LLM 的代价函数相结合，实现高效逆合成路径规划。
• 构建一个包含真实、类人类分子设计指令的基准数据集，用于评估多模态生成性能。
• 通过统一的自回归框架，结合文本模型与图模型的优势，克服纯文本 LLM 和图基方法的局限性。

提出的方法

• Llamole 将基础 LLM 与两个预训练图模块集成：用于多条件分子生成的图扩散变换器（Graph DiT）和用于反应模板预测的图神经网络（GNN）。
• 采用触发-查询-预测机制，并使用特殊标记在自回归生成过程中激活图模块，实现交错的文本与图生成。
• 在生成分子或反应后，基础 LLM 通过图编码器重新恢复文本生成，该编码器用于编码先前生成的分子结构。
• 在逆合成规划中，Llamole 采用基于 LLM 计算启发式函数的 A* 搜索，以高效探索庞大的反应空间。
• 将生成过程建模为在词表、原子/键类型和反应模板上的多分类预测任务。
• 在经过筛选的多模态分子设计指令数据集上进行微调，包括类对话式提示和逆合成路径。

Figure 1: Comparison of Controllability: Results are averaged from the best numbers from Table 1 .

实验结果

研究问题

• RQ1 多模态 LLM 是否能够实现文本与分子图的连贯交错生成，以支持逆向分子设计？
• RQ2 将图模型与 LLM 集成后，相较于纯文本 LLM，是否能显著提升分子生成的可控性与质量？
• RQ3 集成图结构的 LLM 在逆合成规划中，相较于纯 LLM 和图基基线模型，性能提升的幅度有多大？
• RQ4 基于 LLM 启发式函数的 A* 搜索是否能高效探索多步逆合成中的大规模反应空间？
• RQ5 所提出的框架在生成满足复杂多属性要求的分子方面，效果如何？

主要发现

• Llamole 在逆合成规划中实现了 35% 的成功率，相较最佳基线模型的 5.5% 显著提升。
• 与 14 个微调后的 LLM 相比，Llamole 在 12 项可控分子设计指标上性能最高提升达 80.9%。
• 在反应条件的文本生成方面，Llamole 达到最高的 ROUGE-L 分数（0.268），表明其结构连贯性优异，尽管 BLEU-4 分数较低，但这是由于有效反应条件的多样性所致。
• 案例研究显示，Llamole 生成的分子在化学上有效且可合成，满足复杂要求；而 ICL 和 SFT 基线模型则生成了幻觉或无效结构。
• 在聚合物设计方面，Llamole 顺利生成了具有所需性质的合法单体结构及两步逆合成路径，而基线模型无法生成有效聚合物或遵循指令。
• 该模型在多种分子类型（包括小分子和聚合物）上均表现出鲁棒性，提升了指令遵循能力与化学有效性。

Figure 2: Three LLM-based methods for molecular design. The question outlines requirements for properties, structures, and synthesis, addressed as follows: (a) In-Context Learning and (b) Supervised Fine-Tuning use text-only data for demonstrations and instruction tuning, respectively. (c) The propo