[论文解读] Nervus: A Comprehensive Deep Learning Classification, Regression, and Prognostication Tool for both Medical Image and Clinical Data Analysis

Toshimasa Matsumoto, Shannon L. Walston+2 more|arXiv (Cornell University)|Dec 12, 2022

AI in cancer detection被引用 4

一句话总结

Nervus 是一个基于 PyTorch 的深度学习框架，专为医学影像和临床数据分析而设计，将灰度图像与表格数据整合到统一的流水线中，用于分类、回归和预后预测任务。其采用四部分架构——数据加载器、特征提取器、特征混合器和分类器——支持灵活的多输入、多标签学习，具有高度可用性，适用于放射学和临床研究。

ABSTRACT

The goal of our research is to create a comprehensive and flexible library that is easy to use for medical imaging research, and capable of handling grayscale images, multiple inputs (both images and tabular data), and multi-label tasks. We have named it Nervus. Based on the PyTorch library, which is suitable for AI for research purposes, we created a four-part model to handle comprehensive inputs and outputs. Nervus consists of four parts. First is the dataloader, then the feature extractor, the feature mixer, and finally the classifier. The dataloader preprocesses the input data, the feature extractor extracts the features between the training data and ground truth labels, feature mixer mixes the features of the extractors, and the classifier classifies the input data from feature mixer based on the task. We have created Nervus, which is a comprehensive and flexible model library that is easy to use for medical imaging research which can handle grayscale images, multi-inputs and multi-label tasks. This will be helpful for researchers in the field of radiology.

研究动机与目标

• 开发一个灵活、用户友好的深度学习库，专为医学影像和临床数据研究而定制。
• 解决在单一深度学习框架中整合异构数据模态（灰度医学图像与表格临床数据）的挑战。
• 在统一的流水线中支持多种机器学习任务，包括多标签分类、回归和预后建模。
• 通过提供模块化、可扩展的架构，提升放射学和临床人工智能研究的可访问性与可复现性。
• 为缺乏深度学习专业知识的研究人员提供极简代码复杂度的端到端训练与推理能力。

提出的方法

• 该框架采用四阶段架构：数据加载器用于输入预处理，特征提取器用于从图像和表格数据中学习表征，特征混合器用于融合多模态特征，分类器用于生成任务特定的输出。
• 数据加载器负责数据加载与预处理，包括医学图像的归一化与增强，以及表格数据的标准化。
• 特征提取器对图像数据使用卷积神经网络（CNNs），对表格数据使用全连接网络，实现联合特征学习。
• 特征混合器通过拼接或基于注意力的机制组合模态特异性特征，以建模跨模态交互。
• 分类器头具有任务自适应性，多分类任务使用 softmax，多标签任务使用 sigmoid，回归任务使用回归头预测连续结果。
• 整个流水线基于 PyTorch 构建，确保与研究工作流的兼容性，并支持轻松的定制与部署。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效在单一训练流水线中处理医学图像与临床表格数据？
• RQ2 多模态输入（图像与表格数据）的整合在医学分类与预后任务中如何提升性能？
• RQ3 Nervus 的模块化设计在多标签与回归问题等多样化机器学习任务中支持程度如何？
• RQ4 与现有放射学和临床人工智能研究框架相比，Nervus 在可用性与性能方面表现如何？
• RQ5 特征混合器组件能否有效捕捉影像特征与临床特征之间的跨模态依赖关系？

主要发现

• Nervus 有效地将灰度医学图像与临床表格数据整合到单一的端到端深度学习流水线中。
• 该框架在相同架构内支持多种学习任务——分类、回归与多标签预测。
• 模块化设计使研究人员能够轻松替换组件（如特征提取器或分类器）以适配特定应用场景。
• 使用 PyTorch 确保了与现有深度学习研究工具和工作流的高兼容性。
• 该框架在医学影像研究中表现出强大的可用性，显著减少了对数据流水线与模型架构的自定义实现需求。
• Nervus 支持从多模态数据中进行联合学习，可能在预后与诊断任务中优于单模态模型，从而提升模型性能。