[论文解读] Multi-scale Regional Attention Deeplab3+: Multiple Myeloma Plasma Cells Segmentation in Microscopic Images

Afshin Bozorgpour, Reza Azad+2 more|arXiv (Cornell University)|May 13, 2021

Digital Imaging for Blood Diseases被引用 12

一句话总结

该论文提出了一种两阶段深度学习框架，用于对骨髓显微图像中的多发性骨髓瘤浆细胞进行实例级分割。该方法首先使用U-Net进行细胞核检测，随后采用多尺度区域注意力DeepLabv3+网络并结合尺度聚合来优化细胞质分割，在SegPC2021大型挑战赛中取得第二名（mIoU: 0.9385）的成绩。

ABSTRACT

Multiple myeloma cancer is a type of blood cancer that happens when the growth of abnormal plasma cells becomes out of control in the bone marrow. There are various ways to diagnose multiple myeloma in bone marrow such as complete blood count test (CBC) or counting myeloma plasma cell in aspirate slide images using manual visualization or through image processing technique. In this work, an automatic deep learning method for the detection and segmentation of multiple myeloma plasma cell have been explored. To this end, a two-stage deep learning method is designed. In the first stage, the nucleus detection network is utilized to extract each instance of a cell of interest. The extracted instance is then fed to the multi-scale function to generate a multi-scale representation. The objective of the multi-scale function is to capture the shape variation and reduce the effect of object scale on the cytoplasm segmentation network. The generated scales are then fed into a pyramid of cytoplasm networks to learn the segmentation map in various scales. On top of the cytoplasm segmentation network, we included a scale aggregation function to refine and generate a final prediction. The proposed approach has been evaluated on the SegPC2021 grand-challenge and ranked second on the final test phase among all teams.

研究动机与目标

• 为解决在骨髓穿刺涂片图像中对多发性骨髓瘤浆细胞进行精确、自动分割的挑战。
• 减少人工病理学家评估中固有的观察者间与观察者内差异性。
• 通过利用多尺度表征和基于细胞核的监督信号，提升细胞质分割的准确性。
• 开发一种稳健的、实例感知的分割流程，用于多发性骨髓瘤诊断的临床决策支持。

提出的方法

• 采用两阶段深度学习流程：首先训练一个U-Net模型，用于检测并分割单个浆细胞细胞核。
• 将检测到的每个细胞核裁剪出来，作为感兴趣区域，生成多尺度图像块用于细胞质分割。
• 通过金字塔结构的注意力DeepLabv3+网络处理每个尺度，以学习多尺度上下文特征用于细胞质预测。
• 通过评估各尺度下细胞质面积与细胞核面积的比值，利用尺度聚合函数选择最优分割掩码。
• 在细胞质分割网络的训练过程中，将细胞核掩码作为监督信号，以提高定位准确性。
• 训练使用交叉熵损失函数，采用Adam优化器，在单张GTX 1080 GPU上进行每阶段100个周期的训练。

实验结果

研究问题

• RQ1 多尺度、基于区域的注意力机制是否能提升多发性骨髓瘤浆细胞的细胞质分割准确性？
• RQ2 基于细胞核掩码的监督信号在提升细胞质分割性能方面有多高效？
• RQ3 基于面积比的尺度聚合策略是否优于标准融合策略（如非极大值抑制）？
• RQ4 结合细胞核检测与多尺度细胞质分割的两阶段方法，是否能在真实世界骨髓图像数据上实现最先进性能？

主要发现

• 该方法在SegPC2021大型挑战赛最终测试阶段的平均交并比（mIoU）得分为0.9385，位列所有参赛团队中的第二名。
• 该模型优于大多数竞争对手，仅以0.0004的mIoU差距落后于第一名团队，显示出极高的分割精度。
• 基于细胞质与细胞核面积比的直方图分析，尺度选择策略识别出四个显著峰值，验证了采用四个尺度以实现最优感受野覆盖的合理性。
• 将细胞核掩码作为监督信号显著提升了细胞质分割的准确性，引导网络聚焦于相关区域。
• 基于面积比评估各尺度的尺度聚合函数，其性能优于标准融合方法（如非极大值抑制）。