[论文解读] PolypGen: A multi-center polyp detection and segmentation dataset for generalisability assessment.

Sharib Ali, Debesh Jha+12 more|arXiv (Cornell University)|Jun 8, 2021

Colorectal Cancer Screening and Detection参考文献 32被引用 9

一句话总结

PolypGen 是一个大规模、多中心的结直肠息肉检测与分割数据集，包含来自 300 多名患者的 3,446 个精确标注的息肉实例，专为严格评估息肉检测与分割模型的泛化能力而构建。该数据集通过来自六个中心的多样化内镜数据实现泛化能力评估，由六名资深胃肠病学家验证，是 Endocv2021 挑战赛的一部分。

ABSTRACT

Polyps in the colon are widely known as cancer precursors identified by colonoscopy either related to diagnostic work-up for symptoms, colorectal cancer screening or systematic surveillance of certain diseases. Whilst most polyps are benign, the number, size and the surface structure of the polyp are tightly linked to the risk of colon cancer. There exists a high missed detection rate and incomplete removal of colon polyps due to the variable nature, difficulties to delineate the abnormality, high recurrence rates and the anatomical topography of the colon. In the past, several methods have been built to automate polyp detection and segmentation. However, the key issue of most methods is that they have not been tested rigorously on a large multi-center purpose-built dataset. Thus, these methods may not generalise to different population datasets as they overfit to a specific population and endoscopic surveillance. To this extent, we have curated a dataset from 6 different centers incorporating more than 300 patients. The dataset includes both single frame and sequence data with 3446 annotated polyp labels with precise delineation of polyp boundaries verified by six senior gastroenterologists. To our knowledge, this is the most comprehensive detection and pixel-level segmentation dataset curated by a team of computational scientists and expert gastroenterologists. This dataset has been originated as the part of the Endocv2021 challenge aimed at addressing generalisability in polyp detection and segmentation. In this paper, we provide comprehensive insight into data construction and annotation strategies, annotation quality assurance and technical validation for our extended EndoCV2021 dataset which we refer to as PolypGen.

研究动机与目标

• 解决当前缺乏大规模、多中心数据集以评估息肉检测与分割模型泛化能力的问题。
• 通过创建一个多样化、多机构的数据集并采用标准化标注，减少模型对单一中心或单一人群数据的过拟合。
• 通过整合单帧图像与视频序列数据，支持在真实临床环境中对深度学习模型进行稳健的基准测试。
• 通过六名专家胃肠病学家的共识标注，确保标注质量。
• 通过提供一个全面且经过验证的数据集，为结肠镜图像分析的未来研究奠定基础，以支持泛化能力的评估。

提出的方法

• 从六个独立医疗中心收集内镜图像与视频序列，以确保患者人口统计学特征、内镜设备类型和成像协议的多样性。
• 由六名资深胃肠病学家对 3,446 个息肉实例进行精确的像素级分割掩码标注，以确保高质量的真实标签。
• 实施多阅者共识标注策略，以提高息肉边界勾画的可靠性并减少阅片者间差异。
• 将数据集划分为单帧图像与视频序列子集，以支持分类任务与时序建模任务。
• 通过技术检查验证数据质量，包括空间一致性、标注完整性以及异常值检测。
• 作为 Endocv2021 挑战赛的扩展发布，以促进社区范围内的息肉检测与分割模型评估与基准测试。

实验结果

研究问题

• RQ1 与单中心基准相比，模型在多中心数据集上评估时，性能下降的程度如何？
• RQ2 来自多个机构的多样化内镜数据的引入，如何影响息肉检测与分割模型的泛化能力？
• RQ3 专家共识标注对临床影像中息肉分割的可靠性与可重复性有何影响？
• RQ4 像 PolypGen 这样的多中心数据集能否作为评估不同人群与成像条件下模型泛化能力的稳健基准？
• RQ5 PolypGen 中解剖位置、息肉形态与成像质量的多样性如何影响模型的鲁棒性？

主要发现

• PolypGen 包含 3,446 个息肉实例，并配有像素级分割掩码，是迄今为止最全面的息肉检测与分割数据集。
• 该数据集涵盖六个医疗中心，确保了患者人群、内镜设备与成像协议的多样性，支持泛化能力测试。
• 所有标注均由六名资深胃肠病学家验证，确保了高组间一致性与临床相关性。
• 单帧图像与视频序列数据的并存，使模型能够在不同时空背景下得到评估。
• 该数据集作为 Endocv2021 挑战赛的一部分开发，建立了标准化基准，用于在多样化临床环境中评估模型性能。
• PolypGen 为未来研究提供了基础，使模型泛化能力的严格评估超越单一中心或单一人群的表现成为可能。