[论文解读] Multimodal contrastive learning for spatial gene expression prediction using histology images

Wenwen Min, Zhiceng Shi+3 more|arXiv (Cornell University)|Jul 11, 2024

Gene expression and cancer classification被引用 4

一句话总结

该论文提出 mclSTExp，一种结合 Transformer 和 DenseNet-121 编码器的多模态对比学习框架，通过将 ST 点视为 '单词'，利用自注意力机制和对比学习整合空间与图像特征，实现从 H&E 组织学图像预测空间基因表达。该方法在三个数据集上实现了最先进性能，PCC 相较于先前方法提升 23.01%–32.09%，并能解释与癌症相关及免疫相关的基因。

ABSTRACT

In recent years, the advent of spatial transcriptomics (ST) technology has unlocked unprecedented opportunities for delving into the complexities of gene expression patterns within intricate biological systems. Despite its transformative potential, the prohibitive cost of ST technology remains a significant barrier to its widespread adoption in large-scale studies. An alternative, more cost-effective strategy involves employing artificial intelligence to predict gene expression levels using readily accessible whole-slide images (WSIs) stained with Hematoxylin and Eosin (H\&E). However, existing methods have yet to fully capitalize on multimodal information provided by H&E images and ST data with spatial location. In this paper, we propose extbf{mclSTExp}, a multimodal contrastive learning with Transformer and Densenet-121 encoder for Spatial Transcriptomics Expression prediction. We conceptualize each spot as a "word", integrating its intrinsic features with spatial context through the self-attention mechanism of a Transformer encoder. This integration is further enriched by incorporating image features via contrastive learning, thereby enhancing the predictive capability of our model. Our extensive evaluation of extbf{mclSTExp} on two breast cancer datasets and a skin squamous cell carcinoma dataset demonstrates its superior performance in predicting spatial gene expression. Moreover, mclSTExp has shown promise in interpreting cancer-specific overexpressed genes, elucidating immune-related genes, and identifying specialized spatial domains annotated by pathologists. Our source code is available at https://github.com/shizhiceng/mclSTExp.

研究动机与目标

• 为解决空间转录组学（ST）的高昂成本，通过利用现成且低成本的 H&E 全玻片图像（WSIs）实现基因表达的高精度预测。
• 相较于现有方法，更有效地整合 ST 数据（空间基因表达）与 H&E 图像（组织学形态）的多模态信息。
• 通过自注意力机制与对比学习建模 ST 点之间的空间关系，提升预测性能。
• 实现对生物相关基因的可解释性分析，包括癌症特异性过表达基因与免疫相关标志物。
• 利用预测的基因表达模式识别病理学家标注的空间区域。

提出的方法

• 将每个 ST 点视为 '单词'，使用带有可学习位置嵌入的 Transformer 编码器对点序列建模为 '句子'。
• 采用 DenseNet-121 主干网络提取对应每个 ST 点的 H&E 全玻片图像切片的图像特征。
• 应用对比学习，在共享潜在空间中对齐图像特征与 ST 点嵌入，最大化正样本对（匹配的图像与点）的相似性，最小化负样本对的相似性。
• 通过 Transformer 中的自注意力机制整合空间上下文，使每个点能够关注其他点，捕捉长程空间依赖关系。
• 通过聚合与查询最相似的 top-k '单词'（点），并按其与图像表征的余弦相似度加权，实现基因表达预测。
• 端到端训练模型，损失函数包括对比损失与基因表达预测的回归损失。

实验结果

研究问题

• RQ1 多模态对比学习框架能否有效结合 H&E 图像特征与空间 ST 点数据，以提升基因表达预测性能？
• RQ2 将 ST 点建模为使用自注意力机制的序列中的 '单词'，是否能增强空间上下文建模并提高预测准确性？
• RQ3 该模型能否识别出癌组织中具有生物意义的空间区域及过表达基因？
• RQ4 在多个数据集上，mclSTExp 与 BLEEP、HisToGene 和 STnet 等最先进方法相比，预测性能如何？
• RQ5 mclSTExp 在预测数据中在多大程度上保留了基因-基因共表达模式与生物异质性？

主要发现

• 在 HER2+ 乳腺癌数据集上，mclSTExp 的 PCC（ACG）比第二好的方法（BLEEP）高出 23.01%。
• 在 cSCC 皮肤鳞状细胞癌数据集上，mclSTExp 的 PCC（ACG）相较 BLEEP 提升了 32.09%。
• 在 Alex+10x 数据集上，mclSTExp 的 PCC（ACG）比 BLEEP 高出 25.56%，表明其在多种组织类型中均保持一致的优越性。
• 在三个数据集上，mclSTExp 的 PCC（HEG）相较所有基线方法提升 27.82% 至 36.48%。
• 该模型成功预测了 HLA-B 与 HLA-DRA 等关键免疫相关基因，这些基因此前未被其他方法检测到，凸显其生物可解释性。
• 对预测的基因表达数据进行层次聚类，保留了已知的生物共表达模式，相关性矩阵与实际 ST 数据高度一致。