[论文解读] WCEbleedGen: A wireless capsule endoscopy dataset and its benchmarking for automatic bleeding classification, detection, and segmentation

Palak Handa, Manas Dhir+5 more|arXiv (Cornell University)|Aug 22, 2024

Gastrointestinal Bleeding Diagnosis and TreatmentMedicine被引用 3

一句话总结

本文介绍了 WCEbleedGen，一个高质量、开源的、经医学专家标注的无线胶囊内镜图像数据集，包含 2,618 幅图像帧，用于自动出血分类、检测与分割。该研究对九种分类、三种检测和三种分割深度学习模型进行了基准测试，其中 VGG19、YOLOv8n 和 LinkNet 表现最佳，为无线胶囊内镜分析中的多任务人工智能设立了新标准。

ABSTRACT

Computer-based analysis of Wireless Capsule Endoscopy (WCE) is crucial. However, a medically annotated WCE dataset for training and evaluation of automatic classification, detection, and segmentation of bleeding and non-bleeding frames is currently lacking. The present work focused on development of a medically annotated WCE dataset called WCEbleedGen for automatic classification, detection, and segmentation of bleeding and non-bleeding frames. It comprises 2,618 WCE bleeding and non-bleeding frames which were collected from various internet resources and existing WCE datasets. A comprehensive benchmarking and evaluation of the developed dataset was done using nine classification-based, three detection-based, and three segmentation-based deep learning models. The dataset is of high-quality, is class-balanced and contains single and multiple bleeding sites. Overall, our standard benchmark results show that Visual Geometric Group (VGG) 19, You Only Look Once version 8 nano (YOLOv8n), and Link network (Linknet) performed best in automatic classification, detection, and segmentation-based evaluations, respectively. Automatic bleeding diagnosis is crucial for WCE video interpretations. This diverse dataset will aid in developing of real-time, multi-task learning-based innovative solutions for automatic bleeding diagnosis in WCE. The dataset and code are publicly available at https://zenodo.org/records/10156571 and https://github.com/misahub2023/Benchmarking-Codes-of-the-WCEBleedGen-dataset.

研究动机与目标

• 为解决缺乏专门用于出血分类、检测与分割的医学标注且类别平衡的无线胶囊内镜数据集的问题。
• 通过在分类、检测与分割任务中使用多种深度学习模型，建立全面的基准测试。
• 为未来在自动无线胶囊内镜出血分析中的人工智能研究建立标准化评估框架。
• 支持开发用于临床部署的实时多任务学习系统，以辅助胃肠道出血诊断。
• 通过提供公开可获取的数据集和代码，支持可复现的研究。

提出的方法

• WCEbleedGen 数据集从多种来源构建，包括互联网资源库和现有的无线胶囊内镜数据集，以确保图像多样性与真实世界代表性。
• 该数据集包含 2,618 幅图像帧，类别平衡：1,309 幅为出血帧，1,309 幅为非出血帧，每帧均附有类别标签、边界框和二值掩码。
• 使用标准指标（如准确率、精确率、召回率、IoU 和 Dice 系数）评估了九种分类模型、三种检测模型和三种语义分割模型的性能。
• 基准测试过程包括在数据集上进行训练与验证，性能在验证集和测试集上均进行评估，以衡量泛化能力。
• 使用标准深度学习框架训练和评估模型，超参数经过调优以优化各任务的性能。
• 通过包含联合标注（类别标签、边界框和分割掩码），该数据集支持多任务学习，实现跨任务的联合学习。

实验结果

研究问题

• RQ1 在新整理的、经医学专家标注的数据集上，最先进深度学习模型在无线胶囊内镜图像帧的出血与非出血分类任务中的表现如何？
• RQ2 不同检测模型在定位无线胶囊内镜图像帧中出血区域方面的表现如何？哪种网络架构实现了最高的定位准确率？
• RQ3 哪种分割模型与真实出血区域的重叠度最高？其在不同出血表现和强度下的泛化能力如何？
• RQ4 所提出的数据集能否作为未来无线胶囊内镜出血分析中人工智能模型的可靠基准？与现有数据集相比，其在质量与标注完整性方面表现如何？
• RQ5 当前人工智能模型在出血检测中的主要局限性是什么？通过改进网络架构设计或数据增强技术，能否有效提升其性能？

主要发现

• VGG19 在出血分类任务中表现最佳，准确率、精确率和召回率均较高，表明其在帧级二分类任务中的有效性。
• YOLOv8n 在所有检测模型中表现最优，实现了精确率与召回率的最佳平衡，能够有效定位图像中的出血区域。
• LinkNet 在分割任务中表现最佳，IoU 和 Dice 系数值均较高，表明其在边界定位和区域重叠方面具有优势。
• SegNet 虽然像素级分类准确率高，但边界定义不准确，导致 IoU 和 Dice 分数较低，主要因分割边界不精确。
• 基准测试结果表明，尽管分类与检测任务的性能处于中等水平，但分割任务表现强劲，尤其是 LinkNet，凸显其在临床部署中的潜力。
• 该数据集与代码已在 Auto-WCEBleedGen 挑战赛中被积极使用，证实了其在研究社区中的实用性与可复现性。