[论文解读] Uncertainty Quantification for Atlas-Level Cell Type Transfer

Jan Engelmann, Leon Hetzel+4 more|arXiv (Cornell University)|Nov 7, 2022

Single-cell and spatial transcriptomics被引用 5

一句话总结

本文提出了针对单细胞参考图谱中细胞类型转移的不确定性量化方法，表明如DKL和MIMO等模型通过提供更校准良好、更稳健的不确定性估计，优于传统基线模型（例如WKNN）。这些模型能更有效地通过在分布外细胞上表现出更高的预测不确定性，检测出未见的细胞类型，从而为新型细胞状态的发现提供可操作的洞见。

ABSTRACT

Single-cell reference atlases are large-scale, cell-level maps that capture cellular heterogeneity within an organ using single cell genomics. Given their size and cellular diversity, these atlases serve as high-quality training data for the transfer of cell type labels to new datasets. Such label transfer, however, must be robust to domain shifts in gene expression due to measurement technique, lab specifics and more general batch effects. This requires methods that provide uncertainty estimates on the cell type predictions to ensure correct interpretation. Here, for the first time, we introduce uncertainty quantification methods for cell type classification on single-cell reference atlases. We benchmark four model classes and show that currently used models lack calibration, robustness, and actionable uncertainty scores. Furthermore, we demonstrate how models that quantify uncertainty are better suited to detect unseen cell types in the setting of atlas-level cell type transfer.

研究动机与目标

• 为解决单细胞参考图谱中细胞类型分类缺乏可靠不确定性估计的问题。
• 评估不确定性感知模型在因技术与生物学变异导致的数据集分布偏移下，是否能提升鲁棒性与校准性。
• 确定不确定性量化是否能实现对参考图谱中未包含的未见或分布外细胞类型的检测。
• 对四种模型类别——WKNN、RF、DKL和MIMO——在不确定性质量、校准性及分布外（OOD）检测性能方面进行基准测试。
• 提供可操作的不确定性度量，以支持在真实世界单细胞基因组学工作流程中对细胞类型转移结果的可靠解释。

提出的方法

• 评估了四种模型类别：加权K近邻（WKNN）、随机森林（RF）、深度核学习（DKL）和多输入多输出（MIMO）分类器。
• 通过熵与互信息对预测不确定性、模型不确定性和数据不确定性进行分解：$\mathbb{H}[y|\mathbf{x},\mathcal{D}] = \mathbb{I}[y,\boldsymbol{\omega}|\mathbf{x},\mathcal{D}] + \mathbb{E}_{p(\omega|\mathcal{D})}[\mathbb{H}[y|\mathbf{x},\boldsymbol{\omega}]]$。
• 在训练中排除三种细胞类型（B细胞、肥大细胞、离子细胞），以模拟分布外（OOD）场景下的OOD检测。
• 使用AUPR评估不确定性性能，用于区分分布外与分布内分类，分别评估预测不确定性和模型不确定性。
• 使用Wasserstein距离衡量已见与未见细胞类型不确定性密度之间的分布差异。
• 在包括基因表达中生物学与技术变异在内的各类域偏移下，评估模型的校准性与鲁棒性。

实验结果

研究问题

• RQ1 不确定性量化方法能否提升单细胞参考图谱中细胞类型转移的可靠性与可解释性？
• RQ2 在数据集分布偏移下，不同模型类别（WKNN、RF、DKL、MIMO）在校准性、鲁棒性与不确定性质量方面如何比较？
• RQ3 不确定性估计能否有效检测出训练参考图谱中未包含的未见细胞类型？
• RQ4 哪种不确定性类型——预测不确定性、模型不确定性或Softmax置信度——能提供最具可操作性与可靠性的分布外检测性能？
• RQ5 是否能通过解耦模型不确定性与数据不确定性，使模型在识别新发或稀有细胞状态方面表现更优？

主要发现

• DKL与MIMO模型在使用预测不确定性时，B细胞的AUPR得分达到93±3%，肥大细胞为95±1%，显著优于WKNN的61±2%与83±1%。
• MIMO 8使用模型不确定性时，B细胞的AUPR为93±1%，离子细胞为82±6%，表明其在分布外检测方面优于WKNN的51±1%与12±1%。
• DKL在使用预测不确定性时，于B细胞与离子细胞上均取得高于MIMO 8的AUPR，表明其预测不确定性校准性更优，尽管模型不确定性表现较弱。
• MIMO 8的模型不确定性表现出更优的模型与数据不确定性解耦能力，其在使用模型不确定性时的分布外检测性能更高，证明了这一点。
• WKNN与Softmax置信度产生的不确定性估计校准性差，对多数未见细胞类型AUPR低于60%，限制了其在检测新细胞状态中的实用性。
• 结果表明，如DKL与MIMO等不确定性量化模型更适用于识别未见细胞类型，并在图谱级别细胞类型转移中提供可操作的置信度估计。