[论文解读] SFCN-OPI: Detection and Fine-grained Classification of Nuclei Using Sibling FCN with Objectness Prior Interaction

Yanning Zhou, Qi Dou+3 more|arXiv (Cornell University)|Dec 22, 2017

AI in cancer detection参考文献 12被引用 12

一句话总结

该论文提出SFCN-OPI，一种统一的端到端深度学习框架，通过具有动态物体存在先验交互的兄弟全卷积网络，联合执行细胞核检测与细粒度分类。通过共享早期特征并利用物体存在先验在检测与分类分支之间实现双向知识迁移，该方法实现了最先进性能，在结肠癌组织病理学数据集上将分类F1分数提升至0.742，显著优于先前方法。

ABSTRACT

Cell nuclei detection and fine-grained classification have been fundamental yet challenging problems in histopathology image analysis. Due to the nuclei tiny size, significant inter-/intra-class variances, as well as the inferior image quality, previous automated methods would easily suffer from limited accuracy and robustness. In the meanwhile, existing approaches usually deal with these two tasks independently, which would neglect the close relatedness of them. In this paper, we present a novel method of sibling fully convolutional network with prior objectness interaction (called SFCN-OPI) to tackle the two tasks simultaneously and interactively using a unified end-to-end framework. Specifically, the sibling FCN branches share features in earlier layers while holding respective higher layers for specific tasks. More importantly, the detection branch outputs the objectness prior which dynamically interacts with the fine-grained classification sibling branch during the training and testing processes. With this mechanism, the fine-grained classification successfully focuses on regions with high confidence of nuclei existence and outputs the conditional probability, which in turn benefits the detection through back propagation. Extensive experiments on colon cancer histology images have validated the effectiveness of our proposed SFCN-OPI and our method has outperformed the state-of-the-art methods by a large margin.

研究动机与目标

• 为解决现有方法将核检测与细粒度分类视为独立任务、忽略其内在相互依赖性的问题。
• 提升在低质量组织病理学图像中检测小尺寸、形态多变核的准确性与鲁棒性，此类图像具有较高的类间与类内差异。
• 开发一种统一的、端到端的深度学习框架，通过动态特征交互实现在检测与分类之间的相互增强。
• 利用检测分支提供的物体存在先验，引导并优化细粒度分类分支，提升定位与分类性能。
• 在真实世界结肠腺癌组织病理学数据集上验证联合学习与物体存在先验交互的有效性。

提出的方法

• 该方法采用兄弟全卷积网络（SFCN）架构，早期层共享特征提取，深层则分别设置用于检测与分类的任务特异性分支。
• 检测分支输出一个物体存在图，表示核存在的可能性，该图用作动态先验以引导分类分支。
• 通过可学习的交互模块将物体存在先验整合到分类分支中，基于检测置信度调制特征图。
• 在训练过程中，分类分支通过反向传播提供反馈，联合损失函数结合检测与分类目标，从而通过反向传播优化检测分支。
• 该框架端到端训练，通过共享梯度与基于先验的注意力机制，实现检测与细粒度分类之间的相互优化。
• 该方法在结肠癌组织病理学数据集上进行评估，消融研究证实了OPI机制与联合训练的贡献。

实验结果

研究问题

• RQ1 与独立训练分离模型相比，联合学习核检测与细粒度分类是否能提升性能？
• RQ2 检测分支的物体存在先验的动态交互如何提升细粒度分类的准确性？
• RQ3 所提出的物体存在先验交互机制在密集或形态异常细胞区域中，能在多大程度上减少假阳性检测？
• RQ4 SFCN-OPI统一框架是否在结肠癌组织病理学图像的检测与分类任务中均优于最先进方法？
• RQ5 与顺序或流水线式方法相比，检测与分类分支的端到端联合优化在鲁棒性与泛化能力方面表现如何？

主要发现

• SFCN-OPI在细粒度分类中取得0.742的F1分数，显著优于先前最先进方法SC-CNN的0.692。
• 该方法显著减少了在密集排列或形态不规则区域中的困难假阳性检测，与其它网络的定性对比结果表明了这一点。
• 物体存在先验交互机制使分类分支能够聚焦于高置信度核区域，从而提升了对上皮细胞核与其它杂项核等挑战性子类别的识别能力。
• SFCN-OPI-2在分类性能上优于SR-CNN与SC-CNN，证明了结合OPI的联合训练相比独立训练具有优势。
• 消融研究证实，OPI机制与端到端联合学习显著提升了性能，尤其在处理小尺寸与形态多变的核方面。
• 由于物体存在先验引导的注意力机制，该框架在低质量组织病理学图像（如染色不良与结构模糊）上表现出更优的鲁棒性。