[论文解读] The CausalBench challenge: A machine learning contest for gene network inference from single-cell perturbation data

Mathieu Chevalley, Jacob Sackett-Sanders+16 more|arXiv (Cornell University)|Aug 29, 2023

Bioinformatics and Genomic Networks被引用 4

一句话总结

CausalBench 挑战赛邀请机器学习研究人员从单细胞干扰数据中推断因果基因调控网络，使用大规模基于 CRISPR 的数据集。获胜方法通过有效利用干预数据显著提升了性能，展示了可扩展、数据高效的网络推断方法，并在因果基因网络重构方面建立了新的最先进水平。

ABSTRACT

In drug discovery, mapping interactions between genes within cellular systems is a crucial early step. Such maps are not only foundational for understanding the molecular mechanisms underlying disease biology but also pivotal for formulating hypotheses about potential targets for new medicines. Recognizing the need to elevate the construction of these gene-gene interaction networks, especially from large-scale, real-world datasets of perturbed single cells, the CausalBench Challenge was initiated. This challenge aimed to inspire the machine learning community to enhance state-of-the-art methods, emphasizing better utilization of expansive genetic perturbation data. Using the framework provided by the CausalBench benchmark, participants were tasked with refining the current methodologies or proposing new ones. This report provides an analysis and summary of the methods submitted during the challenge to give a partial image of the state of the art at the time of the challenge. Notably, the winning solutions significantly improved performance compared to previous baselines, establishing a new state of the art for this critical task in biology and medicine.

研究动机与目标

• 推进从单细胞干扰数据中因果基因网络推断的最先进技术，特别是使用干预性（CRISPR）数据集。
• 解决现有方法在干预数据增加时无法扩展的问题，尽管其理论上具有优势。
• 通过组织一个聚焦于可扩展、生物相关网络推断的社区挑战，激发机器学习领域的创新。
• 建立一个具有生物意义的度量标准基准，同时反映统计精度和生物相关性。
• 通过标准化数据、评估流程以及公开提交详细的 方法报告，促进可复现性和透明度。

提出的方法

• 参赛者被要求开发模型，从基因干扰下的单细胞 RNA-seq 数据中推断有向基因调控网络。
• 该挑战赛使用来自 RPE-1 和 K562 细胞系的两个真实世界 CRISPR 干扰数据集，通过不同比例的干预数据（25%、50%、75%、100%）测试可扩展性。
• 评估基于平均 Wasserstein 距离的曲线下面积（AUC）与干预数据比例的关系，强调对干扰数据的有效利用。
• 采用双重视角评估框架，结合统计精度（Wasserstein 距离）和生物召回率（假阴性率）来评估方法性能。
• 通过在 Google Cloud Platform 上使用 Docker 容器和 Slurm HPC 的安全、可复现的流水线对提交结果进行评估，确保执行的一致性和可审计性。
• 通过四个指标（两个数据集 × 两种评估模式）的平均排名计算出综合排名，实现对方法鲁棒性的公平比较。

实验结果

研究问题

• RQ1 机器学习模型能否在基因网络推断中随着单细胞干预数据量的增加而有效提升性能？
• RQ2 为何现有最先进方法尽管在因果发现中具有理论优势，却未能有效利用干预数据？
• RQ3 哪些方法论创新使得对干扰数据的利用在重建因果基因调控网络方面得到改进？
• RQ4 如何使评估指标更好地反映基因网络推断中的统计准确性和生物相关网络结构？
• RQ5 像 CausalBench 这类社区驱动的挑战赛在多大程度上能够加速系统生物学和药物发现中的因果推断进展？

主要发现

• 获胜方法在提供更多干预数据时表现出明显的性能上升趋势，表明对干扰信号的有效利用——与早期基线方法无扩展性表现形成鲜明对比。
• Betterboost、Guanlab、MeanDifference 和 SparseRC 等方法在干预数据增加时显著提升了性能，确立了新的最先进水平。
• 表现最佳的模型在平均 Wasserstein 距离上实现了显著改进，且在 RPE-1 和 K562 细胞系数据集中均观察到性能提升。
• 评估框架成功识别出在统计精度和生物召回率之间取得平衡的方法，凸显了基于生物原理的度量标准的重要性。
• 该挑战揭示了以往方法对干预数据的利用不足，表明从单细胞干扰数据中进行因果发现仍存在巨大的未开发潜力。
• 使用 Docker 化、可复现的评估流水线确保了结果的一致性和可审计性，支持了网络推断研究中未来可复现性和透明度。