[论文解读] Unifying Sequences, Structures, and Descriptions for Any-to-Any Protein Generation with the Large Multimodal Model HelixProtX

Zhiyuan Chen, Tianhao Chen+5 more|ArXiv.org|Jul 12, 2024

Genetics, Bioinformatics, and Biomedical Research被引用 4

一句话总结

HelixProtX 是一个大型多模态语言模型，能够实现序列、结构和文本描述之间的任意模态蛋白质生成，通过统一训练，在序列设计、结构预测和描述生成方面均优于最先进模型。它在多种蛋白质模态中实现了卓越的准确性和高度的一致性，展示了统一多模态建模在蛋白质研究中的潜力。

ABSTRACT

Proteins are fundamental components of biological systems and can be represented through various modalities, including sequences, structures, and textual descriptions. Despite the advances in deep learning and scientific large language models (LLMs) for protein research, current methodologies predominantly focus on limited specialized tasks -- often predicting one protein modality from another. These approaches restrict the understanding and generation of multimodal protein data. In contrast, large multimodal models have demonstrated potential capabilities in generating any-to-any content like text, images, and videos, thus enriching user interactions across various domains. Integrating these multimodal model technologies into protein research offers significant promise by potentially transforming how proteins are studied. To this end, we introduce HelixProtX, a system built upon the large multimodal model, aiming to offer a comprehensive solution to protein research by supporting any-to-any protein modality generation. Unlike existing methods, it allows for the transformation of any input protein modality into any desired protein modality. The experimental results affirm the advanced capabilities of HelixProtX, not only in generating functional descriptions from amino acid sequences but also in executing critical tasks such as designing protein sequences and structures from textual descriptions. Preliminary findings indicate that HelixProtX consistently achieves superior accuracy across a range of protein-related tasks, outperforming existing state-of-the-art models. By integrating multimodal large models into protein research, HelixProtX opens new avenues for understanding protein biology, thereby promising to accelerate scientific discovery.

研究动机与目标

• 解决当前蛋白质生成模型碎片化的问题，这些模型专注于单一任务，如序列到结构或描述到序列。
• 将氨基酸序列、三维结构和文本描述等多种蛋白质模态统一到一个生成框架中，实现端到端、灵活的蛋白质建模。
• 通过用一个能够处理多样化输入-输出模态组合的系统替代多个专用模型，降低研究复杂性。
• 通过模态间的一致性评估，提升模型的可靠性与一致性。
• 通过实现整体性、多模态的蛋白质生成与设计，加速蛋白质生物学中的科学发现。

提出的方法

• HelixProtX 基于大型多模态语言模型架构，联合编码并生成蛋白质序列、三维结构（仅主链）和自然语言描述。
• 模型在多样化且经过筛选的配对蛋白质模态数据集上进行端到端训练，实现所有 9 种可能的输入-输出模态组合的零样本和少样本泛化。
• 采用统一的分词方案，将序列、结构坐标（Cα 原子）和文本描述映射到共享潜在空间，实现跨模态对齐。
• 模型使用掩码自编码目标进行序列和结构重建，使用条件语言建模目标进行描述生成。
• 通过 X-Y-X 和 Y-X 循环进行自一致性评估，即利用某一模态的输出作为输入来重建原始模态，以衡量保真度和一致性。
• 通过联合训练多个蛋白质生成任务，相比独立训练，可提升泛化能力并减少误差传播。

实验结果

研究问题

• RQ1 单一统一的多模态模型是否能在所有 9 种可能的输入-输出模态组合中实现高质量的蛋白质生成？
• RQ2 HelixProtX 在不同模态转换中的自一致性表现如何，特别是在序列和结构重建方面？
• RQ3 多个蛋白质生成任务的联合训练是否优于独立训练每个任务？
• RQ4 在结构到序列设计和描述到结构生成等挑战性任务中，HelixProtX 与最先进模型相比表现如何？
• RQ5 当从文本描述生成蛋白质时，该模型在保留功能和结构保真度方面的能力如何？

主要发现

• 在结构到序列设计任务中，HelixProtX 实现了 0.564 的序列相似度和 0.792 的 TM 评分，优于 ProteinMPNN（0.401 相似度，0.787 TM 评分）。
• 在描述到序列生成任务中，HelixProtX 实现了 0.486 的序列相似度和 0.770 的 TM 评分，优于 Chroma（0.075 相似度，0.284 TM 评分）。
• 在序列到结构预测任务中，HelixProtX 实现了 2.723 的 RMSD 和 0.416 的 TM 评分，尽管 RMSD 较高，但其结构质量优于 HelixFold-Single（1.497 RMSD，0.770 TM 评分）。
• 在描述到结构生成任务中，HelixProtX 实现了 2.724 的 RMSD 和 0.407 的 TM 评分，显著优于 Chroma（3.558 RMSD，0.308 TM 评分）。
• 与独立训练相比，统一训练方法在结构到描述生成任务中提升了 BLEU-4（0.624 vs. 0.541）和 ROUGE-F1（0.829 vs. 0.752）。
• 自一致性评估显示 X-Y-X 和 Y-X 循环之间具有强对齐性，表明跨模态生成具有高度的可靠性和一致性。