[论文解读] One Model is All You Need: Multi-Task Learning Enables Simultaneous Histology Image Segmentation and Classification

Simon Graham, Quoc Dang Vu+5 more|arXiv (Cornell University)|Feb 28, 2022

AI in cancer detection被引用 12

一句话总结

本文提出Cerberus，一种多任务深度学习模型，通过单一共享主干网络，同时对全切片图像中的细胞核、腺体、腔室和组织区域进行分割与分类。通过整合来自多个独立数据源的数据，并按组织类型和分辨率对齐任务，该模型在所有任务上均表现出色，优于单任务基线模型，同时支持下游任务（如细胞核分类和印戒细胞检测）的迁移学习，且以高精度处理了来自TCGA的599张结直肠全切片图像。

ABSTRACT

The recent surge in performance for image analysis of digitised pathology slides can largely be attributed to the advances in deep learning. Deep models can be used to initially localise various structures in the tissue and hence facilitate the extraction of interpretable features for biomarker discovery. However, these models are typically trained for a single task and therefore scale poorly as we wish to adapt the model for an increasing number of different tasks. Also, supervised deep learning models are very data hungry and therefore rely on large amounts of training data to perform well. In this paper, we present a multi-task learning approach for segmentation and classification of nuclei, glands, lumina and different tissue regions that leverages data from multiple independent data sources. While ensuring that our tasks are aligned by the same tissue type and resolution, we enable meaningful simultaneous prediction with a single network. As a result of feature sharing, we also show that the learned representation can be used to improve the performance of additional tasks via transfer learning, including nuclear classification and signet ring cell detection. As part of this work, we train our developed Cerberus model on a huge amount of data, consisting of over 600K objects for segmentation and 440K patches for classification. We use our approach to process 599 colorectal whole-slide images from TCGA, where we localise 377 million, 900K and 2.1 million nuclei, glands and lumina, respectively and make the results available to the community for downstream analysis.

研究动机与目标

• 为解决为每个组织学分析任务单独训练深度学习模型所面临的可扩展性与数据效率挑战。
• 开发一种统一的深度学习框架，实现在全切片图像中对多种组织学结构（细胞核、腺体、腔室、组织区域）进行同步分割与分类。
• 利用来自多个独立来源的多样化数据，同时在组织类型和分辨率上保持对齐，以提升模型泛化能力与性能。
• 证明通过迁移学习，模型学习到的共享表征可有效提升下游任务（如细胞核分类和印戒细胞检测）的性能。
• 发布基于TCGA的599张结直肠全切片图像的大规模、高精度分割与分类结果，供社区用于可解释的计算病理学流程。

提出的方法

• 设计了一种多任务学习框架，采用共享编码器和多个任务特定头，分别用于细胞核、腺体、腔室和组织区域的分割与分类。
• 采用一种新颖的采样策略，整合来自多个独立来源的数据，确保各任务在组织类型和分辨率上的一致性。
• 模型使用单一深度神经网络（Cerberus），在各任务间共享特征，降低计算开销，并支持端到端训练。
• 分割头包含细胞核、腺体和腔室的实例分割，分类头则用于预测组织类型和细胞核亚型。
• 通过在额外任务（如细胞核分类和印戒细胞检测）上微调共享编码器，应用迁移学习，利用已学习的特征。
• 模型在超过60万个体素对象和44万张分类图像块上进行训练，推理在599张TCGA结直肠全切片图像上以0.5 μm/像素分辨率完成。

实验结果

研究问题

• RQ1 单一深度学习模型能否在同时完成细胞核、腺体、腔室和组织区域的分割与分类等多项组织学分析任务时，实现具有竞争力的性能？
• RQ2 在组织类型和分辨率一致的前提下，采用多任务学习是否能提升模型性能与泛化能力，优于单任务方法？
• RQ3 多任务模型学习到的共享表征是否能有效迁移到下游任务（如细胞核分类和印戒细胞检测）中，从而提升性能？
• RQ4 从多个独立来源整合数据在多大程度上能提升模型性能，同时不损害一致性或引入领域偏移？
• RQ5 该模型的输出是否能支持提取具有生物学可解释性的特征，以支持可解释的计算病理学流程？

主要发现

• Cerberus模型在所有分割与分类任务中均表现出色，尽管仅使用单一共享网络，仍优于单任务基线模型。
• 该模型处理了599张来自TCGA的结直肠全切片图像，以高精度定位了3.77亿个细胞核、90万个腺体和210万个腔室。
• 模型参数量（140万）显著低于MILD-Net（280万）和HoVer-Net（420万），可在标准GPU上实现高效推理。
• 使用NVIDIA GeForce 1080 Ti GPU，单张TCGA全切片图像（28,451 × 56,782像素）的推理时间仅需11.7分钟，批量大小为25。
• 通过共享编码器进行迁移学习，显著提升了下游任务（如细胞核分类和印戒细胞检测）的性能，证明了所学表征的实用性。
• 模型在癌变腺体的腔室分割以及肌肉与间质区分方面表现较弱，可能由于20倍放大倍数下上下文信息有限及图像块尺寸较小，提示采用多尺度或更大感受野的方法或可进一步提升性能。