[论文解读] Unified framework for modeling multivariate distributions in biological sequences

Justas Dauparas, Haobo Wang+4 more|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|Jun 6, 2019

Machine Learning in Bioinformatics参考文献 17被引用 8

一句话总结

本文提出了一种统一的深度学习框架，通过将位置特异性评分矩阵（PSSMs）、马尔可夫随机场（MRFs）、多元高斯分布（MGs）和自编码器（AEs）表示为具有不同损失函数的单一全连接层，实现对它们的整合。关键贡献在于揭示了MRFs与MGs仅在损失函数上存在差异——分类交叉熵与均方误差之别——从而实现了模型间的直接转换，并通过共享正则化技术显著提升了蛋白质接触预测的性能。

ABSTRACT

Revealing the functional sites of biological sequences, such as evolutionary conserved, structurally interacting or co-evolving protein sites, is a fundamental, and yet challenging task. Different frameworks and models were developed to approach this challenge, including Position-Specific Scoring Matrices, Markov Random Fields, Multivariate Gaussian models and most recently Autoencoders. Each of these methods has certain advantages, and while they have generated a set of insights for better biological predictions, these have been restricted to the corresponding methods and were difficult to translate to the complementary domains. Here we propose a unified framework for the above-mentioned models, that allows for interpretable transformations between the different methods and naturally incorporates the advantages and insight gained individually in the different communities. We show how, by using the unified framework, we are able to achieve state-of-the-art performance for protein structure prediction, while enhancing interpretability of the prediction process.

研究动机与目标

• 将用于多变量分布建模的多种不同模型（包括PSSMs、MRFs、MGs和AEs）统一于一个框架中，用于生物序列分析。
• 弥合共进化与保守性分析中类别型（MRFs）与连续型（MGs）建模方法之间的差距。
• 实现模型间知识与正则化技术的迁移，特别是将MRFs中的技术有效迁移至MG模型。
• 通过共享框架整合多个模型的优势，提升蛋白质结构预测的准确性。
• 通过将所有模型表达为统一的数学形式，增强深度学习模型在生物序列分析中的可解释性。

提出的方法

• 将所有模型（PSSM、MRF、MG、AE）表示为具有可学习权重与偏置的单一全连接神经网络层。
• 对MRFs使用分类交叉熵（CCE）损失，对MGs使用均方误差（MSE）损失，表明其等价于伪似然估计与精度矩阵估计。
• 应用L1、L2、组L1及对角伪计数等正则化技术，以在CCE与MSE模型中促进稀疏性与稳定性。
• 证明在MSE模型中对角线置零等价于偏相关系数计算，从而建立MG与MRF解释之间的联系。
• 在统一框架内，利用平均场近似与图模型Lasso方法，实现MRF与MG模型的高效推理。
• 采用平均乘积校正（APC）方法，校正接触预测性能评估中的熵偏差。

实验结果

研究问题

• RQ1 PSSMs、MRFs、MGs与AEs能否在共享架构下统一于单一深度学习框架？
• RQ2 在生物序列建模背景下，分类交叉熵（MRFs中使用）与均方误差（MGs中使用）之间存在何种数学关系？
• RQ3 MRFs中的正则化技术（如L2）能否有效迁移至MG模型以提升性能？
• RQ4 与SOTA方法（如GaussDCA或CCE）相比，统一框架是否能提升蛋白质接触预测的准确性？
• RQ5 该框架是否能通过实现不同建模范式之间的直接转换与比较，增强可解释性？

主要发现

• 统一框架将PSSMs、MRFs、MGs与AEs表示为单一全连接层，通过不同损失函数实现数学形式的统一。
• 使用伪似然的MRFs在数学上等价于最小化分类交叉熵损失，而MGs则最小化均方误差，揭示了其根本统一性。
• 对基于MSE的MG模型应用L2正则化可显著提升性能，使其更接近基于CCE的MRFs，且相对于GaussDCA有稳定但微小的性能提升。
• 在MSE模型中对配对矩阵的对角线置零，等价于计算偏相关系数，从而建立了MG与MRF解释之间的联系。
• 统一框架实现了从MRFs到MGs的正则化技术直接迁移，提升了模型稳定性与预测准确性。
• 在包含至少1,000个有效序列的多样化蛋白质集合上，采用等效正则化的MSE方法优于GaussDCA，并接近CCE方法的性能，证明了该框架的实际应用价值。