[论文解读] Sequential Rib Labeling and Segmentation in Chest X-Ray using Mask R-CNN

Jöran Wessel, Mattias P. Heinrich‬+3 more|arXiv (Cornell University)|Aug 22, 2019

COVID-19 diagnosis using AI参考文献 7被引用 7

一句话总结

本文提出了一种新颖的序列 Mask R-CNN 框架，用于在前后位胸部 X 光片中联合实现肋骨检测、分割和解剖学标注。通过引入针对肋骨的锚框（anchor boxes）以及一种序列处理方案——该方案将上位肋骨的分割掩码作为输入，该方法在检测任务中实现了 0.846 的平均 Dice 评分，在分割任务中实现了 0.733 的平均 Dice 评分，性能优于原始 Mask R-CNN 和基于图谱的方法，达到当前最优水平。

ABSTRACT

Mask R-CNN is a state-of-the-art network architecture for the detection and segmentation of object instances in the computer vision domain. In this contribution, it is used to localize, label and segment individual ribs in anterior-posterior chest X-ray images. For this purpose, several extensions have been made to the original architecture, in order to address the specific challenges of this application. This includes the use of rib specific networks, facilitating dedicated anchor boxes sampled from a training set, as well as a sequential processing of all ribs. Here, the segmentation result of the upper neighbor rib is used as additional input to the network. This approach is the first addressing both rib segmentation and anatomical labeling in chest radiographs. The results are comparable or even better than existing methods aiming only at segmentation.

研究动机与目标

• 解决当前缺乏能够同时在胸部 X 光图像中实现肋骨分割和解剖学标注的方法的问题。
• 提升在后前位 X 光片中常见低对比度、高相似性肋骨结构下的肋骨检测与分割精度。
• 实现实时、实例级别的肋骨分析，以支持临床应用，如图像质量评估和纵向图像对比。
• 克服由于解剖结构高度相似以及放射影像中重叠阴影导致的肋骨标注挑战。

提出的方法

• 采用以 ResNet50 和特征金字塔网络（Feature Pyramid Network）为骨干网络的改进 Mask R-CNN，用于特征提取。
• 利用真实标注边界框上的均值漂移（Mean Shift）算法设计针对肋骨的锚框，优化于典型肋骨位置。
• 提出一种序列处理流程，其中每一根肋骨的网络将上位肋骨的分割掩码作为额外输入通道。
• 应用仿射数据增强以提升训练多样性，并增强在 174 张图像数据集上的泛化能力。
• 对每张图像的标注边界框进行归一化处理，以应对不同大小的 X 光片，提升训练稳定性。
• 针对肋骨 2–9 分别训练独立网络，利用上位肋骨的分割输出作为第三个输入通道，以提高定位精度。

实验结果

研究问题

• RQ1 经过修改的 Mask R-CNN 架构是否能够在胸部 X 光片中实现肋骨检测、分割和解剖学标注的联合完成？
• RQ2 将上位肋骨的分割掩码作为输入是否能提升每根肋骨的检测与分割精度？
• RQ3 与标准锚框生成方式相比，使用针对肋骨的锚框在检测性能上有何差异？
• RQ4 所提出的方法是否能在准确率和速度上超越现有的基于图谱的肋骨检测方法？

主要发现

• 所提方法在肋骨检测任务中达到 0.846 的平均 Dice 评分，在实例分割任务中达到 0.733 的平均 Dice 评分，相比原始 Mask R-CNN 提升了 5%。
• 序列化地整合上位肋骨的分割掩码显著减少了假阳性数量，并提高了每根肋骨的定位精度。
• 该方法优于基于图谱的肋骨检测方法，实现了 0.95 的准确率、0.82 的敏感度和 0.98 的特异度，高于基线的 0.86、0.75 和 0.92。
• 模型实现了实时推理性能，支持在临床工作流中的实际部署。
• 通过均值漂移聚类方法生成的针对肋骨的锚框相比通用锚框生成方式，显著提升了定位精度。
• 五折交叉验证表明性能在所有折中保持一致，肋骨 1–9 的分割 Dice 评分分别为左肋 0.732±0.207 和右肋 0.734±0.211。