[论文解读] Token-Level Guided Discrete Diffusion for Membrane Protein Design

Shrey Goel, Schray, Peregrine M.+4 more|arXiv (Cornell University)|Oct 22, 2024

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

MeMDLM 提出了首个用于从头设计膜蛋白的掩码扩散蛋白语言模型（MDLM），利用 ESM-2 pLM 生成具有高跨膜（TM）特征的序列。通过采用离散噪声并利用掩码标记进行反向扩散，MeMDLM 在生成生物上真实可信的膜蛋白方面优于自回归方法，同时保持了关键的理化性质。

ABSTRACT

Reparameterized diffusion models (RDMs) have recently matched autoregressive methods in protein generation, motivating their use for challenging tasks such as designing membrane proteins, which possess interleaved soluble and transmembrane (TM) regions. We introduce the Membrane Diffusion Language Model (MemDLM), a fine-tuned RDM-based protein language model that enables controllable membrane protein sequence design. MemDLM-generated sequences recapitulate the TM residue density and structural features of natural membrane proteins, achieving comparable biological plausibility and outperforming state-of-the-art diffusion baselines in motif scaffolding tasks by producing lower perplexity, higher BLOSUM-62 scores, and improved pLDDT confidence. To enhance controllability, we develop Per-Token Guidance (PET), a novel classifier-guided sampling strategy that selectively solubilizes residues while preserving conserved TM domains, yielding sequences with reduced TM density but intact functional cores. Importantly, MemDLM designs validated in TOXCAT beta-lactamase growth assays demonstrate successful TM insertion, distinguishing high-quality generated sequences from poor ones. Together, our framework establishes the first experimentally-validated diffusion-based model for rational membrane protein generation, integrating de novo design, motif scaffolding, and targeted property optimization.

研究动机与目标

• 开发一种用于从头设计膜蛋白的生成框架，以克服自回归模型的局限性。
• 将掩码扩散语言建模（MDLM）适配至蛋白语言模型（pLM），以提升序列生成性能。
• 在生成过程中保持膜蛋白的关键理化与结构特征。
• 实现对跨膜结构域与可溶性结构域的高保真度支架构建。
• 为药物发现与合成生物学中的实验应用提供一种以序列为中心的平台。

提出的方法

• 在全面的蛋白序列空间上预训练 ESM-2-150M pLM，以建立丰富的嵌入空间。
• 在膜蛋白序列上微调预训练的 ESM-2，使其专精于膜相关特征。
• 实施一种离散噪声调度，随时间步长逐步用 <mask> 标记替换氨基酸标记，遵循吸收态扩散过程。
• 使用时间条件噪声调度 αₜ 控制在每个时间步 t 的标记掩码概率。
• 通过从完全掩码序列反向去噪，实现扩散过程的逆转，以生成完整且真实的蛋白序列。
• 将模型应用于无条件生成以及跨膜与可溶性结构域的条件支架构建。

实验结果

研究问题

• RQ1 掩码扩散语言建模（MDLM）能否被有效适配至蛋白语言模型（pLM）以实现膜蛋白序列生成？
• RQ2 基于 MDLM 的生成方法是否在生成具有高跨膜（TM）特征的膜蛋白方面优于自回归方法？
• RQ3 MeMDLM 是否能以比最先进图像修复方法更高的保真度准确重构功能结构域（TM 与可溶性结构域）？
• RQ4 MeMDLM 在多大程度上保持了关键理化性质（如溶解度与膜定位）？
• RQ5 MeMDLM 能否生成适合后续实验验证的生物上合理可信的膜蛋白序列？

主要发现

• MeMDLM 生成的序列相较于自回归方法表现出显著更高的跨膜（TM）特征，表明其结构真实性更优。
• MeMDLM 在跨膜结构域上的伪困惑度为 3.819，可溶性结构域为 7.029，优于 EvoDiff（分别为 20.554 和 16.991）。
• 真实序列与重构序列在 ESM-2-650M 嵌入空间中的余弦相似度达到 0.768（TM 结构域）与 0.778（可溶性结构域），表明具有高度生物相似性。
• MeMDLM 嵌入在溶解度任务上达到 AUROC 0.949，在膜定位任务上达到 0.541，与最先进 pLM 接近。
• 该模型成功生成了多样化、新颖的膜蛋白序列，具备真实可信的结构与功能特征，适用于实验应用。
• MeMDLM 证明 MDLM 可被有效应用于仅编码器结构的 pLM，从而为蛋白设计解锁强大的生成能力。