[论文解读] Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review

Asim Waqas, Aakash Tripathi+3 more|arXiv (Cornell University)|Mar 11, 2023

Computational Drug Discovery Methods被引用 4

一句话总结

本综述整合了最先进的深度学习方法——特别是图神经网络（GNNs）和Transformer——用于肿瘤学中的多模态数据融合，展示了其通过整合基因组学、放射学、病理学和临床记录等多种数据类型，在提升癌症诊断、预后判断和治疗个性化方面的潜力。主要贡献在于对当前方法、挑战及未来方向的全面分析，旨在实现可扩展、可解释且稳健的多模态肿瘤学模型。

ABSTRACT

Cancer has relational information residing at varying scales, modalities, and resolutions of the acquired data, such as radiology, pathology, genomics, proteomics, and clinical records. Integrating diverse data types can improve the accuracy and reliability of cancer diagnosis and treatment. There can be disease-related information that is too subtle for humans or existing technological tools to discern visually. Traditional methods typically focus on partial or unimodal information about biological systems at individual scales and fail to encapsulate the complete spectrum of the heterogeneous nature of data. Deep neural networks have facilitated the development of sophisticated multimodal data fusion approaches that can extract and integrate relevant information from multiple sources. Recent deep learning frameworks such as Graph Neural Networks (GNNs) and Transformers have shown remarkable success in multimodal learning. This review article provides an in-depth analysis of the state-of-the-art in GNNs and Transformers for multimodal data fusion in oncology settings, highlighting notable research studies and their findings. We also discuss the foundations of multimodal learning, inherent challenges, and opportunities for integrative learning in oncology. By examining the current state and potential future developments of multimodal data integration in oncology, we aim to demonstrate the promising role that multimodal neural networks can play in cancer prevention, early detection, and treatment through informed oncology practices in personalized settings.

研究动机与目标

• 分析在肿瘤学中使用深度神经网络（特别是GNNs和Transformer）进行多模态学习（MML）的最新进展。
• 识别在基因组学、影像学、病理学和临床记录之间整合异构肿瘤学数据的关键挑战。
• 突出显示诸如类别不平衡、模态崩溃、GNN中的过度平滑化以及多模态模型缺乏可解释性等局限性。
• 提出开发可扩展、可解释且可泛化的多模态深度学习框架以支持精准肿瘤学的路线图。
• 整理并提供一个集中化、定期更新的公开可用肿瘤学数据集列表，供研究使用。

提出的方法

• 对近期在肿瘤学中使用深度神经网络进行多模态数据融合的文献进行系统性综述。
• 聚焦图神经网络（GNNs）和Transformer作为整合异构数据模态的核心架构。
• 分析Transformer中的注意力机制和GNN中的消息传递机制等架构组件，用于多模态特征学习。
• 评估处理数据挑战的技术，包括数据增强、正则化以及用于隐私保护的联邦学习。
• 应用可解释性工具如GNNExplainer和SubgraphX，以解释多模态设置下的模型决策。
• 使用CLIP、FLAVA和GPT-4等基础模型作为肿瘤学中多模态表征学习的基准。

Figure 1: Number of publications involving deep learning, graph neural networks (GNNs), GNNs in the medical domain, overall multimodal and multimodal in biomedical and clinical sciences in the period 2014-2023 [ 3 ] .

实验结果

研究问题

• RQ1 GNNs和Transformers如何实现对包括基因组学、影像学和临床记录在内的多模态肿瘤学数据的有效融合？
• RQ2 在部署多模态深度学习模型于肿瘤学时，主要的技术与临床挑战是什么，例如类别不平衡和模态崩溃？
• RQ3 如何在多模态GNN和Transformer中提升可解释性和可信度，以支持临床决策？
• RQ4 联邦学习和隐私保护技术在跨分布式肿瘤学数据源训练多模态模型中扮演什么角色？
• RQ5 多模态肿瘤学模型在可扩展性、不确定性量化和泛化能力方面存在哪些关键开放问题？

主要发现

• GNNs和Transformers在肿瘤分类、预后预测和治疗反应评估等肿瘤学任务中，通过整合多模态数据表现出强劲性能。
• RadGenNets模型成功利用CNN和全连接网络融合了PET扫描、基因组学和临床数据，用于预测非小细胞肺癌（NSCLC）中的基因突变。
• 模态崩溃仍是关键问题，即模型过度依赖主导模态而未能充分利用其他模态，尽管已采取架构措施加以缓解。
• GNN中的过度平滑化限制了深层架构的性能，尤其是在训练多层时，尽管跳跃连接和Dropout等技术可减轻该影响。
• 可解释性工具如GNNExplainer和SubgraphX虽已出现，但在肿瘤学的多模态GNN和Transformer中仍处于发展初期。
• 联邦学习可在保护隐私的前提下实现对分布式肿瘤学数据的训练，为跨机构大规模模型开发提供了可行路径。

Figure 2: From population to single cell, cancer data modalities at scales.