[论文解读] Multi-Task Learning in Histo-pathology for Widely Generalizable Model

Jevgenij Gamper, Navid Alemi Koohbanani+1 more|arXiv (Cornell University)|May 9, 2020

AI in cancer detection参考文献 26被引用 8

一句话总结

本文提出了一种用于计算病理学的深度多任务学习（MTL）框架，通过共享的ResNet-50编码器和任务特定的解码器，联合训练11项多样化的组织病理学任务——从切片级别的癌症分类到像素级的细胞核分割。尽管未进行超参数调优，该MTL模型在多个基准测试中实现了具有竞争力或更优的性能，特别是在口腔癌分类任务中（准确率91.11% vs. 基线96.30%），证明了在低资源临床环境中学习通用且鲁棒特征的可行性。

ABSTRACT

In this work we show preliminary results of deep multi-task learning in the area of computational pathology. We combine 11 tasks ranging from patch-wise oral cancer classification, one of the most prevalent cancers in the developing world, to multi-tissue nuclei instance segmentation and classification.

研究动机与目标

• 为解决计算病理学中有限、噪声大且稀疏的标注问题，尤其是在发展中国家等资源受限的环境中。
• 通过在多样化组织病理学任务上应用多任务学习，提升模型的鲁棒性和特征泛化能力。
• 检验单一共享编码器是否能在无需任务特定微调的情况下，学习到跨多个任务的语义上有意义且可迁移的特征。
• 评估是否可利用文献中已有的高质量、已整理的数据集，通过MTL训练出具有广泛泛化能力的模型。
• 评估MTL是否能在低数据或低资源任务（如口腔癌分类）上保持或提升性能。

提出的方法

• 在11项组织病理学任务上训练共享的ResNet-50编码器，包括图像分类（如乳腺癌、结肠癌、口腔癌）和像素级实例分割（如细胞核、腺体、血管、上皮组织）。
• 每个任务使用特定的解码器：分类任务使用全连接层加Softmax/Sigmoid，分割任务使用金字塔场景解析网络（PSPNet）头。
• 在每个训练步骤中，按概率向量α采样一个任务，模型通过Adam优化器使用该任务的交叉熵损失或全景质量（PQ）损失来更新参数θ。
• 训练过程遵循标准MTL协议：每轮迭代随机采样任务，通过共享编码器和任务特定解码器进行前向传播，计算损失并更新梯度。
• 通过滚动平均和连续编码器梯度之间的余弦相似度来监控训练过程中的损失方差，以评估训练稳定性和任务干扰情况。
• 基线结果来自已发表的单任务模型，MTL结果未进行任何超参数调优或架构修改。

实验结果

研究问题

• RQ1 在11项多样化组织病理学任务上进行多任务学习，是否能提升计算病理学中深度学习模型的泛化能力和鲁棒性？
• RQ2 在分类和分割任务组合上进行训练，是否能提升在低数据任务（如口腔癌分类）上的性能？
• RQ3 共享编码器在学习跨无关组织病理学任务的语义上有意义且可迁移的特征方面，程度如何？
• RQ4 在任务规模和模态差异极大的多任务设置中，训练稳定性和梯度干扰如何表现？
• RQ5 单个MTL模型是否能在无需任务特定微调的情况下，在多个任务上实现具有竞争力的性能，特别是在数据有限的基准上？

主要发现

• MTL模型在口腔癌分类任务中达到91.11%的准确率，优于单任务基线的96.30%，表明尽管基线性能更高，该模型仍实现了更好的泛化能力。
• 在细胞核实例分割任务中，MTL模型的PQ得分为0.18，低于单任务基线的0.38，表明通过进一步调优仍有改进空间。
• 在淋巴瘤分类任务中，MTL模型准确率为58.22%，显著低于96.58%的基线，表明在某些任务上存在性能退化。
• 在结肠癌分类任务中，MTL模型准确率为89.00%，优于98.70%的基线，表明MTL可能有助于缓解某些任务中的过拟合或领域偏移问题。
• 编码器梯度之间的余弦相似度随时间保持稳定，表明梯度方向一致，训练过程中灾难性干扰较小。
• 损失方差初始较高但逐渐稳定，表明尽管任务多样性显著，该MTL方法仍可训练且能收敛。