[论文解读] Season combinatorial intervention predictions with Salt & Peper

Thomas Gaudelet, Alice Del Vecchio+5 more|arXiv (Cornell University)|Apr 25, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用 4

一句话总结

本文提出 Salt，一种受生物学启发的非参数基线模型，假设成对基因干预的效应为加性；以及 Peper，一种深度学习模型，将 Salt 的加性归纳偏置扩展至实现预测组合 CRISPR 干预转录组反应的最先进性能。尽管在分布内数据上表现优异，所有模型（包括 Peper）在分布外设置下均表现出显著性能下降，凸显了泛化能力的关键局限，亟需更优的归纳偏置与数据采集策略。

ABSTRACT

Interventions play a pivotal role in the study of complex biological systems. In drug discovery, genetic interventions (such as CRISPR base editing) have become central to both identifying potential therapeutic targets and understanding a drug's mechanism of action. With the advancement of CRISPR and the proliferation of genome-scale analyses such as transcriptomics, a new challenge is to navigate the vast combinatorial space of concurrent genetic interventions. Addressing this, our work concentrates on estimating the effects of pairwise genetic combinations on the cellular transcriptome. We introduce two novel contributions: Salt, a biologically-inspired baseline that posits the mostly additive nature of combination effects, and Peper, a deep learning model that extends Salt's additive assumption to achieve unprecedented accuracy. Our comprehensive comparison against existing state-of-the-art methods, grounded in diverse metrics, and our out-of-distribution analysis highlight the limitations of current models in realistic settings. This analysis underscores the necessity for improved modelling techniques and data acquisition strategies, paving the way for more effective exploration of genetic intervention effects.

研究动机与目标

• 解决在复杂生物系统中预测成对基因干预转录组响应的挑战。
• 开发一种基于生物学原理的基线模型 Salt，假设基因组合效应主要具有加性特征。
• 设计 Peper 模型，一种利用 Salt 的加性归纳偏置以提升预测准确度的深度学习模型。
• 在多种指标下评估当前最先进模型，并识别其在真实世界、分布外场景下的局限性。
• 强调迫切需要更优的归纳偏置、数据采集策略与模型架构，以实现对新型组合干预效应的可靠预测。

提出的方法

• Salt 是一种非参数化、受生物学启发的基线模型，假设两个基因扰动的联合效应近似等于其各自效应之和。
• Peper 是一种训练用于预测成对基因干预转录组响应的深度学习模型，将 Salt 的加性先验作为归纳偏置。
• 模型使用全基因组扰动筛选中的单细胞 RNA-seq 数据，预测结果在单个细胞的基因表达水平上进行评估。
• 性能通过多种指标评估，包括 RMSE 和相关性，同时根据 Norman 等人（2019）定义的相互作用类型（如增强、抑制）进行子组分析。
• 采用分布外评估策略，按干预子组划分数据，以模拟真实世界预测场景中模型面临此前未见组合的情形。
• 本研究通过分布内与分布外划分，将 Peper 与 Salt 与最先进模型（GEARS、CPA）进行比较，以评估其泛化能力。

实验结果

研究问题

• RQ1 像 Salt 这类受生物学启发的非参数基线模型，能否为组合干预预测模型提供可靠的参考基准？
• RQ2 在成对基因扰动的转录组响应建模中，引入加性归纳偏置在多大程度上能提升预测准确度？
• RQ3 当在训练过程中未见过的分布外组合上评估时，当前最先进模型的表现如何？
• RQ4 为何现有模型（包括 Peper）在分布外设置下表现出显著性能下降，尽管其在分布内表现优异？
• RQ5 对单细胞分布高阶矩的建模有何影响？这是否会提升或损害关键预测指标的表现？

主要发现

• Peper 在主要评估指标上达到最先进性能，优于包括 GEARS 与 CPA 在内的现有模型，且在所有干预子组中表现更优。
• Salt 展现出强劲的基线性能，尤其在以加性效应为主的子组中，验证了其作为非参数参考模型的生物学合理性。
• 所有模型（包括 Peper）在分布外设置下均出现显著性能下降，其中‘增强’相互作用类型的表现退化最为严重。
• 分布外分析表明，当前模型在预测新型、此前未见的组合干预效应方面能力不足——而这正是药物发现中最为关键的应用场景。
• 研究结果表明，当前的归纳偏置（如 Salt 中的）不足以捕捉如增强等复杂生物相互作用，提示需要更具动态性或上下文感知的先验。
• 结果暗示，对单细胞分布高阶矩的建模可能无法提升关键指标的表现，且在某些应用场景下，(伪-)批量数据可能更为有效。