[论文解读] Note: Variational Encoding of Protein Dynamics Benefits from Maximizing Latent Autocorrelation

Hannah K. Wayment-Steele, Vijay S. Pande|arXiv (Cornell University)|Mar 16, 2018

Protein Structure and Dynamics参考文献 17被引用 8

一句话总结

本文提出将潜在空间自相关性最大化整合进变分自编码器（VAE）框架，用于蛋白质动力学建模，表明该损失项可增强对慢构象过程的识别。通过将自相关性损失与时间延迟重建目标相结合，该方法在潜在空间自相关性方面显著优于标准VAE，从而在变分构象动力学（VAC）验证下，实现了更优的生物分子动力学变分建模。

ABSTRACT

As deep Variational Auto-Encoder (VAE) frameworks become more widely used for modeling biomolecular simulation data, we emphasize the capability of the VAE architecture to concurrently maximize the timescale of the latent space while inferring a reduced coordinate, which assists in finding slow processes as according to the variational approach to conformational dynamics. We additionally provide evidence that the VDE framework (Hern\'andez et al., 2017), which uses this autocorrelation loss along with a time-lagged reconstruction loss, obtains a variationally optimized latent coordinate in comparison with related loss functions. We thus recommend leveraging the autocorrelation of the latent space while training neural network models of biomolecular simulation data to better represent slow processes.

研究动机与目标

• 提升变分自编码器（VAE）在建模蛋白质慢构象动力学方面的性能。
• 探究最大化潜在空间自相关性是否能提升基于VAE模型中降维坐标的质量。
• 评估不同重建损失函数（尤其是时间延迟型与瞬时型）对潜在动力学的影响。
• 验证所提方法是否相对于标准VAE，能更准确地表征长时标过程。

提出的方法

• 引入一种新损失项 Lρ，以最大化潜在空间的自相关性，其定义为 ρzt,zt+τ = −E[(zt − z̄t)(zt+τ − z̄t+τ)] / (szt s zt+τ)。
• 修改VAE解码器，使其重建未来时间延迟 τ 的坐标，而非当前时间点的坐标，从而实现时间传播学习。
• 将自相关性损失（Lρ）与时间延迟重建损失（Lprop）结合，联合优化长时标动力学与重建保真度。
• 采用变分构象动力学方法（VAC）通过隐含时间尺度和特征值和来评估模型质量。
• 使用标准VAE框架并结合重参数化技巧，实现编码器与解码器网络的端到端训练。
• 在真实蛋白质模拟数据上验证结果，比较不同损失组合下的潜在自相关性与隐含时间尺度。

实验结果

研究问题

• RQ1 最大化潜在空间自相关性是否能改善蛋白质动力学中慢构象过程的识别？
• RQ2 时间延迟重建损失（Lprop）与标准重建损失（Lencod）相比，在保持长时标动力学方面表现如何？
• RQ3 Lρ 与 Lprop 的结合是否能产生比仅使用 Lρ 更具自相关性、因而更具物理意义的潜在坐标？
• RQ4 与标准VAE相比，Lρ 的引入在VAC指标下在多大程度上提升了模型质量？
• RQ5 潜在空间的隐含时间尺度是否可作为模型捕捉慢过程能力的可靠指标？

主要发现

• 仅使用自相关性损失（Lρ）时，潜在空间的自相关性显著高于使用 Lρ 与标准重建损失（Lencod）组合的情况。
• Lρ 与时间延迟重建（Lprop）的结合，产生的潜在坐标自相关性高于仅使用 Lρ 的情况，表明对慢动力学的建模能力得到提升。
• VDE框架（同时使用 Lρ 与 Lprop）的潜在空间自相关性高于标准VAE，如图3中的自相关曲线所示。
• VDE模型的潜在空间隐含时间尺度长于首个 tICA 坐标，表明其在捕捉慢过程方面表现更优。
• 采用 Lρ 训练的模型在变分构象动力学原理上表现出更好对齐，表现为广义矩阵瑞利商值更高。
• 本研究证实，仅使用 Lρ 训练会导致模型过度拟合数据结构而牺牲时间相关性，而 Lprop 通过强制时间一致性缓解了该问题。