[论文解读] Multimodal Prototyping for cancer survival prediction

Andrew H. Song, Richard J. Chen+4 more|arXiv (Cornell University)|Jun 28, 2024

Biomedical Text Mining and Ontologies被引用 6

一句话总结

简要结论：MMP 引入无监督的形态学与通路原型来压缩组织学和转录组 token，从而实现基于 Transformer 或 OT 交对齐的内存高效多模态融合，在六个 TCGA 队列中对癌症生存预测有效。

ABSTRACT

Multimodal survival methods combining gigapixel histology whole-slide images (WSIs) and transcriptomic profiles are particularly promising for patient prognostication and stratification. Current approaches involve tokenizing the WSIs into smaller patches (>10,000 patches) and transcriptomics into gene groups, which are then integrated using a Transformer for predicting outcomes. However, this process generates many tokens, which leads to high memory requirements for computing attention and complicates post-hoc interpretability analyses. Instead, we hypothesize that we can: (1) effectively summarize the morphological content of a WSI by condensing its constituting tokens using morphological prototypes, achieving more than 300x compression; and (2) accurately characterize cellular functions by encoding the transcriptomic profile with biological pathway prototypes, all in an unsupervised fashion. The resulting multimodal tokens are then processed by a fusion network, either with a Transformer or an optimal transport cross-alignment, which now operates with a small and fixed number of tokens without approximations. Extensive evaluation on six cancer types shows that our framework outperforms state-of-the-art methods with much less computation while unlocking new interpretability analyses.

研究动机与目标

• 通过整合组织学（WSIs）与转录组数据来支持生存预测的 prognostication 的动机。
• 通过基于原型的摘要来降低 token 的维度，以实现高效的多模态融合。
• 开发一个统一的融合框架（Transformer 或 OT），在紧凑的原型 token 上运行。
• 通过可视化形态学原型与通路原型之间的交互来增强可解释性。
• 在 TCGA 数据的多种癌种上证明预测性能的提升。

提出的方法

• 通过对 patch embeddings 进行高斯混合模型聚类来构建形态原型，产生一个小而固定的 slide 摘要 (C_h <= 32)。
• 通过固定的生物通路原型（花半通路，C_g = 50）表示转录组数据。
• 在融合前使用学习到的投影将两种模态的 token 维度匹配。
• 用 Transformer 注意力或信息熵正则化的最优传输 cross-alignment 融合模态，实现模态内与跨模态的交互。
• 使用融合后的患者嵌入的 Cox 比例风险损失来预测生存。
• 可选地加入原型特异编码与原型特异后注意网络以增强原型的可解释性。

Figure 1: Overview of MMP . (A) The tessellated WSI patches (tokens) are projected to low-dimensional embeddings with a pretrained patch encoder. The patch embeddings ( $N_{\text{h.}}>10^{4}$ ) are aggregated to slide summary using a small set of prototypes ( $C_{\text{h.}}<$ 32). (B) The transcript

实验结果

研究问题

• RQ1 形态学基础的原型是否能够有效概括 WSI 以用于生存预测而不损失预后信息？
• RQ2 基于通路的原型是否能够将转录组数据浓缩为适合多模态融合的固定 token 集？
• RQ3 使用原型 token 时，基于 Transformer 和基于 OT 的跨模态融合有何比较？
• RQ4 基于原型的多模态融合是否在多种癌种上优于现有的单模态和多模态基线？
• RQ5 原型交互在多大程度上能实现可解释的跨模态预后洞察？

主要发现

• MMP 在六种 TCGA 癌症类型上优于几乎所有基线（无论是单模态还是多模态）。
• 基于原型的组织学摘要实现了大规模输入压缩（>300x）同时保留预测能力。
• 通路原型提供紧凑且有意义的转录组表示，并实现有效的多模态融合。
• Transformer 与 OT 的跨对齐具有可比的性能，验证了两种方法之间的联系。
• MMP 的原型变体在平均一致性指数上高于临床基线及多数基线（如 MMP_OT 与 MMP_Trans. 显示出强结果）。
• 基于原型的单模态基线（AttnMISL、单模态 MMP）仍然是表现最好者之一，凸显原型质量。

Figure 2: Cross-modal interaction visualization . (A) A WSI for a BRCA patient. (B) The morphological prototype heatmap for $c=13$ (C13), representing invasive ductal carcinoma (IDC), based on the posterior distribution for C13. (C) Prototype assignment map showing the closest morphological prototyp