[论文解读] What is a meaningful representation of protein sequences?

Nicki Skafte Detlefsen, Søren Hauberg+1 more|arXiv (Cornell University)|Nov 28, 2020

RNA and protein synthesis mechanisms参考文献 6被引用 4

一句话总结

本文研究了蛋白质序列有意义表征的构成要素，提出表征几何结构在可解释性和生物学洞察中起着关键作用。通过建模潜在空间几何结构——尤其是通过熵感知的测地线距离——该方法提升了迁移学习性能，并揭示了传统方法所掩盖的生物学相关模式，表明几何感知能力可同时增强模型实用性与蛋白质序列分析中的科学可解释性。

ABSTRACT

How we choose to represent our data has a fundamental impact on our ability to subsequently extract information from them. Machine learning promises to automatically determine efficient representations from large unstructured datasets, such as those arising in biology. However, empirical evidence suggests that seemingly minor changes to these machine learning models yield drastically different data representations that result in different biological interpretations of data. This begs the question of what even constitutes the most meaningful representation. Here, we approach this question for representations of protein sequences, which have received considerable attention in the recent literature. We explore two key contexts in which representations naturally arise: transfer learning and interpretable learning. In the first context, we demonstrate that several contemporary practices yield suboptimal performance, and in the latter we demonstrate that taking representation geometry into account significantly improves interpretability and lets the models reveal biological information that is otherwise obscured.

研究动机与目标

• 解决蛋白质序列表征在生物学背景下何为‘有意义’的根本性问题。
• 评估当前蛋白质表征的迁移学习实践，识别次优的设计选择。
• 通过显式建模潜在空间的几何结构，提升学习表征的可解释性。
• 开发一种基于熵感知潜在流形的稳健测地线距离计算方法。
• 证明几何感知的表征能比标准方法更可靠地揭示生物学相关结构，如系统发育关系和功能基序。

提出的方法

• 作者采用变分自编码器（VAE）框架学习蛋白质序列表征，引入一种新颖的熵网络以建模潜在空间的不确定性与几何结构。
• 基于独热编码序列之间的期望平方距离，定义了一种测地线能量泛函，使用公式 $ \mathbb{E}[\Delta^2] = 2\left(1 - \sum_{d=1}^{C} a_d b_d\right) $ 计算序列空间中的期望距离。
• 为计算测地线，将潜在空间离散化为二维网格，构建具有熵加权边权重的图，并应用戴克斯特拉算法进行鲁棒初始化。
• 通过三次样条拟合与10步梯度优化来精炼测地线曲线，以最小化能量泛函（公式4），提升精度。
• 在系统发育分析中，选取最接近聚类中心的潜在嵌入，并使用FastTree2和codeml进行树推断与祖先序列重建。
• 通过Pfam和TAPE（TAPE）数据仓库的公开数据集验证结果，代码与预处理数据已公开共享。

实验结果

研究问题

• RQ1 迁移学习中常见的设计选择如何影响蛋白质序列表征的质量与生物学可解释性？
• RQ2 建模潜在空间几何结构在多大程度上提升了蛋白质序列嵌入的可解释性？
• RQ3 潜在空间中的熵感知测地线距离能否揭示生物学上有意义的关系，如系统发育结构或功能相似性？
• RQ4 标准表征学习方法如何掩盖生物学相关模式，以及可通过何种方式加以纠正？
• RQ5 表征几何结构在实现祖先序列与功能基序的稳健推断中扮演何种角色？

主要发现

• 蛋白质序列迁移学习中常见的做法——如标准VAE训练与表征平均化——导致次优性能，并掩盖了生物学模式。
• 所提出的熵网络显著提升了潜在空间中测地线路径的质量，实现了蛋白质序列间更准确且具有生物学意义的距离估计。
• 通过建模表征几何结构，该方法成功恢复了系统发育关系与祖先序列，展现出超越标准基线的鲁棒性与可解释性。
• 使用熵感知方法计算的测地线路径在β-内酰胺酶家族中揭示了清晰的进化趋势与功能分组，这些在标准表征中不可见。
• 研究表明，表征几何并非次要问题，而是决定学习表征能否产生科学可操作洞察的核心因素。
• 作者证明，即使模型架构或训练协议的微小变化，也会显著改变生物学解释，凸显了在表征学习中引入几何感知的必要性。