[论文解读] Synergistic Learning of Lung Lobe Segmentation and Hierarchical Multi-Instance Classification for Automated Severity Assessment of COVID-19 in CT Images

Kelei He, Wei Zhao+9 more|arXiv (Cornell University)|May 8, 2020

COVID-19 diagnosis using AI参考文献 35被引用 13

一句话总结

本文提出了一种多任务、多实例学习框架（M²UNet），联合执行肺叶分割与分层多实例分类，以实现对3D CT影像中COVID-19严重程度的自动化评估。通过将每张CT扫描表示为2D图像块的‘袋’，并利用分割提供的上下文线索提升分类性能，该方法在弱监督严重程度评估中取得了0.938的F1分数，优于当前最先进方法。

ABSTRACT

Understanding chest CT imaging of the coronavirus disease 2019 (COVID-19) will help detect infections early and assess the disease progression. Especially, automated severity assessment of COVID-19 in CT images plays an essential role in identifying cases that are in great need of intensive clinical care. However, it is often challenging to accurately assess the severity of this disease in CT images, due to variable infection regions in the lungs, similar imaging biomarkers, and large inter-case variations. To this end, we propose a synergistic learning framework for automated severity assessment of COVID-19 in 3D CT images, by jointly performing lung lobe segmentation and multi-instance classification. Considering that only a few infection regions in a CT image are related to the severity assessment, we first represent each input image by a bag that contains a set of 2D image patches (with each cropped from a specific slice). A multi-task multi-instance deep network (called M$^2$UNet) is then developed to assess the severity of COVID-19 patients and also segment the lung lobe simultaneously. Our M$^2$UNet consists of a patch-level encoder, a segmentation sub-network for lung lobe segmentation, and a classification sub-network for severity assessment (with a unique hierarchical multi-instance learning strategy). Here, the context information provided by segmentation can be implicitly employed to improve the performance of severity assessment. Extensive experiments were performed on a real COVID-19 CT image dataset consisting of 666 chest CT images, with results suggesting the effectiveness of our proposed method compared to several state-of-the-art methods.

研究动机与目标

• 为解决在胸部CT影像中准确、自动化评估COVID-19严重程度的挑战，该挑战因感染区域小且分散，以及不同严重程度水平间影像生物标志物相似而复杂化。
• 通过仅使用图像级别的严重程度标签进行弱监督学习，减少对昂贵、详细标注的依赖。
• 通过将肺叶分割作为辅助任务，利用其提供的上下文信息来提升分类性能。
• 开发一种分层多实例学习策略，以更好地捕捉局部图像块特征与全局疾病严重程度之间的复杂关系。
• 在真实世界3D CT数据上，展示多任务学习在联合优化分割与严重程度分类方面的有效性。

提出的方法

• 每张3D CT影像被表示为从单个切片中裁剪出的2D图像块的“袋”，从而实现仅使用全局严重程度标签的弱监督学习。
• 设计了一个多任务深度神经网络M²UNet，包含共享的图像块级别编码器、用于肺叶分割的子网络，以及用于严重程度评估的分类子网络。
• 分类子网络采用一种新颖的分层多实例学习策略，分阶段处理图像块，相较于标准的一阶段MIL方法，提升了鲁棒性与性能。
• 多任务学习实现了分割与分类之间的特征共享，其中分割提供了空间上下文信息，从而提升了分类准确性。
• 网络通过交叉熵损失进行分割训练，通过分层MIL损失进行分类训练，采用袋级别监督，实现端到端训练。
• 在包含666例3D胸部CT扫描的真实数据集上评估模型性能，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 联合学习肺叶分割与严重程度分类是否能提升CT影像中自动化COVID-19严重程度评估的准确性？
• RQ2 将分割提供的空间上下文信息融入弱监督多实例分类中，是否能提升疾病严重程度分类的性能？
• RQ3 与传统的单阶段MIL方法相比，分层多实例学习策略在从图像块级特征分类COVID-19严重程度方面表现如何？
• RQ4 实现稳定且高性能的严重程度分类，最优的袋大小（每张扫描的图像块数量）是多少？
• RQ5 与单任务基线相比，多任务学习在多大程度上提升了分割与分类的性能？

主要发现

• 所提出的M²UNet在严重程度分类中取得了0.938的F1分数，显著优于单阶段MIL基线（F1 = 0.906）和非MIL的ResNet50+Max基线。
• 与标准的一阶段MIL方法相比，分层多实例学习策略使F1分数提升了3.2个百分点。
• 与仅分类的单任务变体（Cls. Only）相比，多任务学习使分类F1分数提升了2.5个百分点，精度提升超过5个百分点。
• M²UNet的分割性能（DSC = 0.785）优于仅分割的单任务基线（DSC = 0.759），证明了共享特征学习的优势。
• 当袋大小为200张图像块时，模型达到最优性能，且在袋大小超过100时性能保持稳定，表明对图像块采样变化具有鲁棒性。
• 消融研究证实，分层MIL策略与多任务学习均为模型卓越性能的关键，两者均对最终结果有显著贡献。