[论文解读] ProtAgents: Protein discovery via large language model multi-agent collaborations combining physics and machine learning

Alireza Ghafarollahi, Markus J. Buehler|arXiv (Cornell University)|Jan 27, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

ProtAgents 提出了一种用于从头蛋白质设计的多智能体大语言模型（LLM）框架，通过协作式人工智能智能体整合基于物理的模拟、机器学习和知识检索。通过使专门的智能体（如序列生成、力预测和振动频率分析智能体）之间实现动态、自主的协作，该系统能够实现具有目标机械性能的蛋白质设计，在预测力-伸展曲线和自然频率方面表现出高精度。

ABSTRACT

Designing de novo proteins beyond those found in nature holds significant promise for advancements in both scientific and engineering applications. Current methodologies for protein design often rely on AI-based models, such as surrogate models that address end-to-end problems by linking protein structure to material properties or vice versa. However, these models frequently focus on specific material objectives or structural properties, limiting their flexibility when incorporating out-of-domain knowledge into the design process or comprehensive data analysis is required. In this study, we introduce ProtAgents, a platform for de novo protein design based on Large Language Models (LLMs), where multiple AI agents with distinct capabilities collaboratively address complex tasks within a dynamic environment. The versatility in agent development allows for expertise in diverse domains, including knowledge retrieval, protein structure analysis, physics-based simulations, and results analysis. The dynamic collaboration between agents, empowered by LLMs, provides a versatile approach to tackling protein design and analysis problems, as demonstrated through diverse examples in this study. The problems of interest encompass designing new proteins, analyzing protein structures and obtaining new first-principles data -- natural vibrational frequencies -- via physics simulations. The concerted effort of the system allows for powerful automated and synergistic design of de novo proteins with targeted mechanical properties. The flexibility in designing the agents, on one hand, and their capacity in autonomous collaboration through the dynamic LLM-based multi-agent environment on the other hand, unleashes great potentials of LLMs in addressing multi-objective materials problems and opens up new avenues for autonomous materials discovery and design.

研究动机与目标

• 解决在广阔且未探索的蛋白质序列空间中设计具有定制机械性能的新颖生物材料的挑战。
• 克服现有 AI 模型在特定目标上聚焦过窄、缺乏灵活整合多样化知识源的局限性。
• 开发一种动态协作框架，使专门的 LLM 智能体能够自主协调，解决复杂的多目标蛋白质设计问题。
• 将基于物理的模拟（例如 ANM）和知识检索（RAG）整合到统一的自动化设计流程中。
• 通过智能体间的协同作用，实现具有目标机械性能的从头蛋白质发现。

提出的方法

• 采用由大语言模型（LLM）驱动的多智能体架构，每个智能体具有专门角色：序列生成器、力预测器、结构分析器、模拟执行器和结果解释器。
• 使用在 800,000 条序列和分子动力学模拟数据上微调的 GPT 风格模型 ProteinForceGPT（16 个头，36 层，1024 隐层大小），用于从氨基酸序列预测力-伸展曲线和机械性能。
• 通过 Llama Index 集成检索增强生成（RAG），在推理过程中动态访问并检索引用的科学文献信息。
• 利用 ProDy 中实现的各向异性网络模型（ANM）执行自然振动频率分析，将蛋白质建模为截断距离内的弹簧网络。
• 通过 BioPython 使用 DSSP 执行二级结构分析，以从三维蛋白质几何结构评估结构特征。
• 通过 LLM 介导的对话协议实现实时、动态的智能体间协作，支持结果的迭代优化和交叉验证。

实验结果

研究问题

• RQ1 多智能体 LLM 系统能否自主且协作地设计出具有目标机械性能的从头蛋白质序列？
• RQ2 专门的 LLM 智能体在整合基于物理的模拟（如 ANM）和知识检索方面，能多大程度上提升预测精度和设计保真度？
• RQ3 该系统在不依赖昂贵模拟的情况下，能多大程度上从氨基酸序列准确生成力-伸展曲线和自然振动频率？
• RQ4 智能体之间的动态协作如何相较于单体 AI 模型提升新颖蛋白质序列的发现效率？
• RQ5 该框架能否在多种蛋白质设计任务中实现泛化，包括序列生成、性能预测和结构分析？

主要发现

• ProteinForceGPT 模型在从蛋白质序列预测力-伸展曲线方面表现出高精度，验证结果如图 S2 所示。
• 该系统成功生成了匹配目标机械性能的蛋白质序列，例如在微调任务中预测展开力为 0.262 nN。
• 利用各向异性网络模型（ANM）准确计算了自然振动频率，实现了蛋白质动力学的从头原理分析。
• RAG 的集成实现了相关科学知识的实时检索，提升了智能体生成响应的推理能力和上下文准确性。
• 多智能体协作框架在多种蛋白质设计任务中表现出稳健性能，包括序列生成、机械性能预测和结构分析。
• 通过结合 LLM 推理、基于物理的模拟和数据驱动模型，系统实现了协同设计成果，显著降低了对昂贵实验验证的依赖。