[论文解读] Single Cells Are Spatial Tokens: Transformers for Spatial Transcriptomic Data Imputation

Hongzhi Wen, Wenzhuo Tang+8 more|arXiv (Cornell University)|Feb 6, 2023

Single-cell and spatial transcriptomics被引用 8

一句话总结

SpaFormer 将单细胞视为空间令牌，并使用 transformer 编码器在时空转录组中推断缺失的基因表达，利用各种时空位置信息编码。

ABSTRACT

Spatially resolved transcriptomics brings exciting breakthroughs to single-cell analysis by providing physical locations along with gene expression. However, as a cost of the extremely high spatial resolution, the cellular level spatial transcriptomic data suffer significantly from missing values. While a standard solution is to perform imputation on the missing values, most existing methods either overlook spatial information or only incorporate localized spatial context without the ability to capture long-range spatial information. Using multi-head self-attention mechanisms and positional encoding, transformer models can readily grasp the relationship between tokens and encode location information. In this paper, by treating single cells as spatial tokens, we study how to leverage transformers to facilitate spatial tanscriptomics imputation. In particular, investigate the following two key questions: (1) $ extit{how to encode spatial information of cells in transformers}$, and (2) $ extit{ how to train a transformer for transcriptomic imputation}$. By answering these two questions, we present a transformer-based imputation framework, SpaFormer, for cellular-level spatial transcriptomic data. Extensive experiments demonstrate that SpaFormer outperforms existing state-of-the-art imputation algorithms on three large-scale datasets while maintaining superior computational efficiency.

研究动机与目标

• 为分辨率较高的时空转录组提高插补效果的动机，因为低捕获效率导致缺失值常见。
• 研究如何在 transformer 中编码细胞的时空信息以实现有效插补。
• 开发一个基于 transformer 的自编码器框架，能够利用细胞间上下文实现准确插补。
• 提出一个双层掩蔽策略，以定制化处理时空转录组的掩码自编码。
• 比较并确定在该场景中时空位置信编码的最佳实践。

提出的方法

• 将细胞视为令牌，并应用 transformer 编码器从部分观测的 X 和时空坐标 C 中学习潜在表示。
• 探索四类时空位置信编码：基于 patch、基于坐标、基于图和基于模型（SignNet 和 Cond PE），以捕捉时空关系。
• 在 SpaFormer 内将自编码器插补模型（vanilla、ZINB、VAE）的通用化，通过 transformer 编码器和各种解码器实现。
• 引入双层掩蔽的掩码自编码器，以选择性地掩盖令牌和特征，便于从上下文中重建。
• 利用高效的 Transformer 变体（Performer）实现线性时间注意力，以处理每个视野中成千上万的细胞令牌。

实验结果

研究问题

• RQ1 如何在 transformer 中有效编码细胞的时空信息以实现时空转录组插补？
• RQ2 在存在缺失值的情况下，如何训练基于 transformer 的模型进行转录组插补？
• RQ3 在细胞层面的时空转录组中，时空位置信编码的最佳选择是什么，它们有何比较？
• RQ4 是否可以在 SpaFormer 内以统一框架有效实现通用自编码器（包括 VAE 和 ZINB 变体）的插补？
• RQ5 双层掩蔽策略是否能提升时空转录组的插补性能？

主要发现

• SpaFormer 在三个大规模细胞级时空转录组数据集上实现卓越的插补性能（未给出确切数字）。
• 验证将细胞视为令牌并使用 transformer 编码器来建模长程的细胞间关系的有效性。
• 显示可融合多种时空位置信编码策略，包括基于 patch、坐标、图和模型的编码，并在平移不变性和距离感知等属性之间存在权衡。
• 在统一的 SpaFormer 框架内推广基于自编码器的插补模型（vanilla、ZINB 基于、以及 VAE）。
• 引入双层掩蔽策略，使其更适合时空转录组插补任务，通过选择性掩盖令牌和特征来提升性能。
• 使用 Performer 变体实现线性时间注意力，使在一个视野内处理成千上万的细胞成为可扩展的。