[论文解读] Multi-stream Faster RCNN for Mitosis Counting in Breast Cancer Images.

Robin Elizabeth Yancey|arXiv (Cornell University)|Feb 1, 2020

AI in cancer detection参考文献 38被引用 7

一句话总结

本文提出了一种多流 Faster R-CNN 模型，通过融合标准图像流与分割后的有丝分裂图谱流的特征，提升了乳腺癌组织病理学图像中的有丝分裂检测性能。该方法在 ICPR 2014 MITOSIS 数据集上实现了 0.507 的 F-measure，超越了比赛优胜者和近期基准模型，同时在云 GPU 上实现了每 10 个高倍视野切片约 5 分钟的临床可行推理速度。

ABSTRACT

Mitotic count is a commonly used method to assess the level of progression of breast cancer, which is now the fourth most prevalent cancer. Unfortunately, counting mitosis is a tedious and subjective task with poor reproducibility, especially for non-experts. Luckily, since the machine can read and compare more data with greater efficiency this could be the next modern technique to count mitosis. Furthermore, technological advancements in medicine have led to the increase in image data available for use in training. In this work, we propose a network constructed using a similar approach to one that has been used for image fraud detection with the segmented image map as the second stream input to Faster RCNN. This region-based detection model combines a fully convolutional Region Proposal Network to generate proposals and a classification network to classify each of these proposals as containing mitosis or not. Features from both streams are fused in the bilinear pooling layer to maintain the spatial concurrence of each. After training this model on the ICPR 2014 MITOSIS contest dataset, we received an F-measure score of 0.507, higher than both the winners score and scores from recent tests on the same data. Our method is clinically applicable, taking only around five min per ten full High Power Field slides when tested on a Quadro P6000 cloud GPU.

研究动机与目标

• 解决乳腺癌诊断中手动有丝分裂计数存在的主观性和低可重复性问题。
• 利用深度学习自动化有丝分裂检测，提升准确性和效率。
• 同时利用原始图像和分割后的有丝分裂图谱数据作为双流输入，以增强特征表示能力。
• 在 ICPR 2014 MITOSIS 竞赛数据集上，性能优于现有方法。
• 开发一种临床适用的系统，具备实际推理速度，可应用于真实病理工作流程。

提出的方法

• 采用基于区域的 Faster R-CNN 架构，结合区域建议网络（RPN）生成候选目标建议。
• 引入第二条流，使用突出潜在有丝分裂区域的分割图像图谱作为附加输入。
• 通过双线性池化层融合两条流的特征，以保留空间对应关系并增强判别能力。
• 在 ICPR 2014 MITOSIS 数据集上端到端训练模型，联合优化建议生成与有丝分裂分类。
• 使用全卷积主干网络从两条输入流中提取分层特征。
• 采用标准检测损失函数优化模型，结合分类损失与边界框回归损失。

实验结果

研究问题

• RQ1 与单流模型相比，融合原始图像特征与分割后的有丝分裂图谱流是否能提升有丝分裂检测性能？
• RQ2 所提出的多流方法是否在 ICPR 2014 MITOSIS 基准上优于当前最先进方法？
• RQ3 该模型是否在保持高检测准确率的同时，实现临床可接受的推理速度？
• RQ4 双线性池化机制在融合特征空间中如何有助于保留空间关系？
• RQ5 使用分割图谱在多大程度上减少了噪声并提升了有丝分裂检测的定位精度？

主要发现

• 所提出的多流 Faster R-CNN 在 ICPR 2014 MITOSIS 数据集上实现了 0.507 的 F-measure，优于比赛优胜者的表现。
• 该模型在相同基准数据集上优于近期最先进方法，显示出更高的检测准确率。
• 系统实现了临床可行的推理速度，在 Quadro P6000 云 GPU 上处理约 10 个高倍视野切片的时间约为 5 分钟。
• 通过双线性池化融合原始图像与分割图谱特征，增强了空间特征表示和检测可靠性。
• 该方法表现出良好的鲁棒性和可重复性，降低了人工有丝分裂计数固有的主观性。
• 结果表明，多流特征融合是提升组织病理学图像中有丝分裂检测性能的有前景方法。