[论文解读] Multimodal Clinical Trial Outcome Prediction with Large Language Models

Wenhao Zheng, Wang, Liaoyaqi+6 more|arXiv (Cornell University)|Feb 9, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

LIFTED 提出了一种多模态临床试验结果预测框架，利用大语言模型将多样化数据模态转换为自然语言描述，通过稀疏专家混合（SMoE）架构实现统一、抗噪声的表征学习。该方法在所有三个临床试验阶段均实现了最先进性能，通过动态识别共享信息模式并自适应加权各模态贡献。

ABSTRACT

The clinical trial is a pivotal and costly process, often spanning multiple years and requiring substantial financial resources. Therefore, the development of clinical trial outcome prediction models aims to exclude drugs likely to fail and holds the potential for significant cost savings. Recent data-driven attempts leverage deep learning methods to integrate multimodal data for predicting clinical trial outcomes. However, these approaches rely on manually designed modal-specific encoders, which limits both the extensibility to adapt new modalities and the ability to discern similar information patterns across different modalities. To address these issues, we propose a multimodal mixture-of-experts (LIFTED) approach for clinical trial outcome prediction. Specifically, LIFTED unifies different modality data by transforming them into natural language descriptions. Then, LIFTED constructs unified noise-resilient encoders to extract information from modal-specific language descriptions. Subsequently, a sparse Mixture-of-Experts framework is employed to further refine the representations, enabling LIFTED to identify similar information patterns across different modalities and extract more consistent representations from those patterns using the same expert model. Finally, a mixture-of-experts module is further employed to dynamically integrate different modality representations for prediction, which gives LIFTED the ability to automatically weigh different modalities and pay more attention to critical information. The experiments demonstrate that LIFTED significantly enhances performance in predicting clinical trial outcomes across all three phases compared to the best baseline, showcasing the effectiveness of our proposed key components.

研究动机与目标

• 解决现有模型依赖人工设计的、模态特异的编码器所带来的局限性，这些局限性限制了可扩展性与跨模态模式识别能力。
• 将异构多模态数据（如分子结构、疾病描述、试验文档）统一转化为通用的自然语言格式，以实现一致的表征学习。
• 通过稀疏专家混合（SMoE）框架识别并提取不同模态间的相似信息模式，以增强表征学习能力。
• 通过专家混合模块实现动态、自适应的模态特异性表征融合，自动加权关键信息。
• 通过引入辅助损失来优化模态特异性表征的质量，从而提升预测的鲁棒性与性能。

提出的方法

• 使用大语言模型将所有多模态输入（如分子、疾病名称、试验文档）转换为自然语言描述，实现统一处理。
• 采用抗噪声、统一的编码器（基于Transformer）从语言转换后的模态中提取表征，同时保留模态特异性特征。
• 应用稀疏专家混合（SMoE）框架，通过动态路由的专家识别并提取模态间的共享信息模式。
• 使用第二个 MoE 模块动态整合来自不同模态的表征，使模型能够根据输入特异性的重要性分配不同权重。
• 引入辅助损失，以在训练过程中提升模态特异性表征的质量与判别性。
• 利用 MoE 的层次化结构实现高效、条件化的计算，减少专家使用中的冗余。

实验结果

研究问题

• RQ1 将多模态临床试验数据转换为自然语言描述，是否能实现对多样化数据格式的有效统一表征学习？
• RQ2 稀疏专家混合（SMoE）框架是否能有效识别并提取不同模态间（如药物和疾病描述中提及的症状）的相似信息模式？
• RQ3 基于专家的动态表征融合是否相比固定融合或注意力机制融合，能带来更好的预测性能？
• RQ4 所提出方法是否能在所有三个临床试验阶段（I、II、III）中实现有效泛化，并保持一致的性能提升？
• RQ5 辅助损失如何促进模态特异性表征的优化，并提升整体预测准确率？

主要发现

• LIFTED 在所有三个临床试验阶段（I、II、III）的临床试验结果预测中，显著优于最佳现有基线模型。
• 使用大语言模型生成的自然语言描述，实现了对异构数据模态的有效统一，且无需设计模态特异的编码器。
• 稀疏专家混合（SMoE）框架成功识别并利用了模态间的共享信息模式，提升了表征一致性与模型泛化能力。
• 通过 MoE 实现的动态表征融合使模型能够根据样本自动为更具信息量的模态分配更高权重，从而提升预测准确率。
• 辅助损失有助于提升模态特异性表征的质量，这一改进在整体性能提升中得到体现。
• 该模型展现出强大的鲁棒性与可扩展性，具备在不重新训练整个架构的前提下扩展至新模态的潜力。