[论文解读] Spatially Resolved Gene Expression Prediction from H&E Histology Images via Bi-modal Contrastive Learning

Ronald Xie, Kuan Pang+5 more|arXiv (Cornell University)|Jun 2, 2023

AI in cancer detection被引用 5

一句话总结

BLEEP（用于表达预测的双模态嵌入）通过对比学习将图像和基因表达特征对齐到共享的低维嵌入空间中，从苏木精和伊红（H&E）组织学图像预测空间分辨基因表达。它在人类肝脏数据集上实现了最先进性能，与基线方法相比，相关性提高了39%–120%，同时保持了生物异质性并减少了噪声。

ABSTRACT

Histology imaging is an important tool in medical diagnosis and research, enabling the examination of tissue structure and composition at the microscopic level. Understanding the underlying molecular mechanisms of tissue architecture is critical in uncovering disease mechanisms and developing effective treatments. Gene expression profiling provides insight into the molecular processes underlying tissue architecture, but the process can be time-consuming and expensive. We present BLEEP (Bi-modaL Embedding for Expression Prediction), a bi-modal embedding framework capable of generating spatially resolved gene expression profiles of whole-slide Hematoxylin and eosin (H&E) stained histology images. BLEEP uses contrastive learning to construct a low-dimensional joint embedding space from a reference dataset using paired image and expression profiles at micrometer resolution. With this approach, the gene expression of any query image patch can be imputed using the expression profiles from the reference dataset. We demonstrate BLEEP's effectiveness in gene expression prediction by benchmarking its performance on a human liver tissue dataset captured using the 10x Visium platform, where it achieves significant improvements over existing methods. Our results demonstrate the potential of BLEEP to provide insights into the molecular mechanisms underlying tissue architecture, with important implications in diagnosis and research of various diseases. The proposed approach can significantly reduce the time and cost associated with gene expression profiling, opening up new avenues for high-throughput analysis of histology images for both research and clinical applications.

研究动机与目标

• 为解决在无需昂贵空间转录组学技术的情况下，从H&E组织学图像预测空间分辨基因表达的挑战。
• 通过学习图像和表达模态之间的共享表征，克服图像到表达预测问题的病态性质。
• 通过使用查询-参考插补策略而非逐基因回归，缓解基因表达预测中的维度灾难问题。
• 通过对比表示学习，提高对空间转录组学数据中实验性伪影（如批次效应或测量噪声）的鲁棒性。
• 在预测的表达谱中保持并增强生物相关的基因-基因相关性和空间异质性。

提出的方法

• BLEEP采用受CLIP启发的对比学习目标，将H&E图像块及其对应的空间基因表达谱联合嵌入到共享的低维空间中。
• 该框架使用双流编码器：一个用于图像特征（基于ResNet），一个用于基因表达特征（基于MLP），两者均投影到共享嵌入空间。
• 推理过程中，通过在联合嵌入空间中计算参考数据集中与查询图像块最接近的k个邻居的表达谱的加权平均，实现对查询图像块表达的插补。
• 对比损失促使配对样本的图像和表达嵌入对齐，同时将非配对样本相互推开，从而增强模态对齐。
• 该方法利用大规模配对的H&E图像和Visium空间转录组学数据集，训练联合嵌入空间。
• 插补过程通过平均相似的参考表达谱，降低噪声并增强细微的生物信号，从而提高与真实表达的相关性。

Figure 1: BLEEP achieves gene expression prediction from H&E image through (a) BLEEP learns a bimodal embedding from expression profiles and H&E image patches, (b) images patch queries are projected into the joint embedding space to index the $k$ nearest reference expression profiles, and (c) the in

实验结果

研究问题

• RQ1 双模态对比学习框架能否有效学习H&E组织学图像与空间基因表达谱之间的共享表征？
• RQ2 在联合嵌入空间中，查询-参考插补策略是否在相关性和抗噪声能力方面优于基于直接回归的基因表达预测？
• RQ3 BLEEP在预测的表达谱中在多大程度上保持了生物异质性和基因-基因相关性结构？
• RQ4 BLEEP对空间转录组学数据中常见的实验性伪影（如批次效应或测量噪声）具有多强的鲁棒性？
• RQ5 BLEEP能否通过基于参考的插补实现去噪，从而提高空间表达数据的信噪比？

主要发现

• BLEEP在标记基因上与真实表达的平均相关性达到0.217 ± 0.002，显著优于第二好的方法，相关性提升39%–120%。
• 预测的表达谱保留并增强了细微的正相关和负相关基因-基因关系，插补过程中的降噪使相关性绝对值增大。
• 与原始Visium数据集相比，BLEEP预测的表达谱方差更低，表明其有效去除了测量噪声并实现了平滑处理。
• 该方法在所有基因类别中均保持高性能：标记基因（MG）为r = 0.217 ± 0.002，高表达基因（HEG）为r = 0.175 ± 0.016，高变异性基因（HVG）为r = 0.173 ± 0.011。
• 框架成功捕捉了空间异质性，如在肝组织切片中预测表达模式的可视化所示。
• BLEEP的插补过程降低了实验性伪影的影响，使表达预测更具生物一致性与连贯性。

Figure 2: Predicted expression profiles compare with reference expression profiles normalized by gene count means (Upper) or gene count variance (Lower).