[论文解读] Pre-Training on Large-Scale Generated Docking Conformations with HelixDock to Unlock the Potential of Protein-ligand Structure Prediction Models

Lihang Liu, Shanzhuo Zhang+13 more|arXiv (Cornell University)|Oct 21, 2023

Computational Drug Discovery Methods被引用 6

一句话总结

该论文提出 HelixDock，一种几何感知的 SE(3)-等变深度学习模型，其在由基于物理的工具生成的 1 亿个蛋白质-配体对接构象上进行预训练，随后在有限的实验数据上微调。该方法在最先进模型的基础上将 RMSD 提升了 40% 以上，通过利用大规模生成数据嵌入物理知识，在蛋白质-配体结构预测中展现出更高的精度和鲁棒性。

ABSTRACT

Protein-ligand structure prediction is an essential task in drug discovery, predicting the binding interactions between small molecules (ligands) and target proteins (receptors). Recent advances have incorporated deep learning techniques to improve the accuracy of protein-ligand structure prediction. Nevertheless, the experimental validation of docking conformations remains costly, it raises concerns regarding the generalizability of these deep learning-based methods due to the limited training data. In this work, we show that by pre-training on a large-scale docking conformation generated by traditional physics-based docking tools and then fine-tuning with a limited set of experimentally validated receptor-ligand complexes, we can obtain a protein-ligand structure prediction model with outstanding performance. Specifically, this process involved the generation of 100 million docking conformations for protein-ligand pairings, an endeavor consuming roughly 1 million CPU core days. The proposed model, HelixDock, aims to acquire the physical knowledge encapsulated by the physics-based docking tools during the pre-training phase. HelixDock has been rigorously benchmarked against both physics-based and deep learning-based baselines, demonstrating its exceptional precision and robust transferability in predicting binding confirmation. In addition, our investigation reveals the scaling laws governing pre-trained protein-ligand structure prediction models, indicating a consistent enhancement in performance with increases in model parameters and the volume of pre-training data. Moreover, we applied HelixDock to several drug discovery-related tasks to validate its practical utility. HelixDock demonstrates outstanding capabilities on both cross-docking and structure-based virtual screening benchmarks.

研究动机与目标

• 解决基于深度学习的蛋白质-配体结构预测模型存在的数据稀缺和泛化能力有限的问题。
• 通过在大规模、物理上合理的对接构象上进行预训练，提升预测精度，这些构象由传统工具生成。
• 研究预训练蛋白质-配体结构预测模型的缩放规律。
• 提升模型在具有挑战性和新颖性的蛋白质-配体复合物上的鲁棒性，包括与 SARS-CoV-2 相关的复合物。
• 证明将基于物理的构象生成与深度学习相结合在人工智能驱动药物发现中的可行性和优越性。

提出的方法

• 在由基于物理的对接工具生成的 1 亿个蛋白质-配体对接构象上对 SE(3)-等变神经网络进行预训练，使用 HelixDock。
• 利用大规模、多样化的生成构象数据集，将力场和评分函数中的物理知识嵌入其中。
• 在有限数量的实验验证的受体-配体复合物上微调预训练模型，以适应真实的结合几何构型。
• 采用结构对齐策略和相互作用指纹相似性来评估模型的泛化能力和测试集多样性。
• 使用 fpocket 计算口袋体积，并在 PLEC 指纹上计算 Tanimoto 相似性，以评估与训练数据的结构和化学相似性。
• 在 PDBBind 和 PDB-COVID19 数据集上与基于物理和深度学习的基线模型进行基准测试，以评估 RMSD、亲和力预测和鲁棒性。

实验结果

研究问题

• RQ1 在大规模生成的对接构象上进行预训练，是否能显著提升基于深度学习的蛋白质-配体结构预测模型的精度？
• RQ2 模型性能如何随着模型规模和预训练数据量的增加而变化？
• RQ3 在基于物理生成的数据上进行预训练，是否能提升对新颖蛋白质-配体复合物的泛化能力，特别是那些实验数据有限的复合物？
• RQ4 与最先进方法相比，该模型在具有挑战性的靶标（如 SARS-CoV-2 相关蛋白）上的表现如何？
• RQ5 嵌入在生成构象中的物理知识对下游预测精度和鲁棒性有何影响？

主要发现

• 在标准基准数据集上，HelixDock 相较于最接近的竞争对手，RMSD 提升了 40% 以上，在 PDBBind 核心集上的 RMSD 为 2.06 Å。
• 该模型在 PDB-COVID19 数据集上表现更优，在 11 个主要 SARS-CoV-2 蛋白靶标中的 10 个上优于基线模型。
• 在 PDBBind 核心集上，HelixDock 的亲和力预测 RMSE 为 1.159，皮尔逊相关系数 R 为 0.844，优于所有基线模型。
• 随着模型规模和预训练数据量的增加，模型表现出一致的性能提升，证实了蛋白质-配体结构预测中观察到的缩放规律。
• 通过在多样化和具有挑战性的靶标上表现提升，包括与训练数据差异较大的靶标，证明了在生成数据上进行预训练能显著增强泛化能力。
• 消融研究显示，若不进行预训练，HelixDock 表现较差（RMSE = 1.470），证实了在大规模生成构象上进行预训练的关键作用。