[论文解读] Pyramid-Focus-Augmentation: Medical Image Segmentation with Step-Wise Focus

Vajira Thambawita, Steven A. Hicks+2 more|arXiv (Cornell University)|Dec 14, 2020

Retinal Imaging and Analysis参考文献 8被引用 6

一句话总结

该论文提出了一种名为金字塔聚焦增强（PYRA）的新颖数据增强技术，用于医学图像分割，通过应用从256×256到4×4的分层网格变换，提升小样本数据集上的模型性能。通过在这些多尺度网格转换掩码上训练U-Net模型，PYRA提高了分割精度，并实现了对息肉区域的逐步关注，最终在Medico 2020结肠息肉分割挑战赛中取得最先进结果，测试mIoU为0.6981，Dice分数为0.7887。

ABSTRACT

Segmentation of findings in the gastrointestinal tract is a challenging but also an important task which is an important building stone for sufficient automatic decision support systems. In this work, we present our solution for the Medico 2020 task, which focused on the problem of colon polyp segmentation. We present our simple but efficient idea of using an augmentation method that uses grids in a pyramid-like manner (large to small) for segmentation. Our results show that the proposed methods work as indented and can also lead to comparable results when competing with other methods.

研究动机与目标

• 为解决结肠息肉分割中标注医学图像有限的问题，特别是当阳性发现稀少时。
• 开发一种数据增强策略，以在不依赖复杂架构的情况下提升深度学习模型在小样本医学数据集上的性能。
• 通过在多个网格尺度上逐步细化分割，实现对息肉区域的渐进式、分步关注。
• 提供一种灵活可调的增强方法，当足够时可使用低分辨率网格以降低计算成本。
• 确保与任何分割模型和任务的兼容性，使该方法在医学影像领域具有广泛适用性。

提出的方法

• PYRA生成4×4、8×8、16×16、32×32、64×64、128×128和256×256大小的棋盘格，用于增强输入图像，将训练数据从800个样本增加至6,400个样本。
• 通过将真实掩码划分为单元格，并将包含任何真实分割像素的单元格标记为阳性，将真实掩码转换为基于网格的表示形式。
• 在原始图像和随机选择的网格图像堆叠输入上训练U-Net模型，以预测对应的网格转换真实掩码。
• 应用蒙特卡洛丢弃推理，对每个输入进行50次前向传播，通过均值和标准差输出估计预测不确定性。
• 通过在训练模式下对50次随机前向传播结果取平均生成最终预测，并在原始分辨率（256×256）上重建输出。
• 使用mIoU和Dice系数在验证集和测试集上评估该方法，结果已提交至Medico 2020挑战赛。

实验结果

研究问题

• RQ1 金字塔结构的网格增强是否能提升在正例稀少的小样本医学数据集上的分割性能？
• RQ2 通过多尺度网格实现对息肉区域的分步关注，是否能增强模型注意力并提高预测精度？
• RQ3 所提出的增强方法能否与标准数据增强和U-Net等深度学习模型有效结合？
• RQ4 模型的不确定性（以标准差衡量）在多大程度上与准确的息肉区域检测相关？
• RQ5 该方法能否调整为使用低分辨率网格以降低计算成本，同时不损失性能？

主要发现

• PYRA在所有实验中取得了最高的测试mIoU（0.6981）和Dice分数（0.7887），优于基线方法。
• 最佳验证性能由仅使用PYRA的实验（Exp-3）实现，mIoU为0.7693，Dice为0.8447，表明其具有强大的泛化能力。
• 通过标准差图可视化模型置信度，发现在息肉中心区域置信度最高，而在外边缘区域较低，证实了对关键区域的聚焦关注。
• 该模型成功在从2×2到256×256的所有网格尺度上预测了息肉区域，展示了从粗到细的逐步细化过程。
• 与Exp-3相比，结合通用增强与PYRA的Exp-4表现较差，表明标准增强可能干扰金字塔聚焦机制。
• 该方法具有灵活性，可应用于任何分割模型，且在需要时可通过调整至低分辨率网格实现更快推理。