[论文解读] WBCAtt: A White Blood Cell Dataset Annotated with Detailed Morphological Attributes

Satoshi Tsutsui, Winnie Pang+1 more|arXiv (Cornell University)|Jun 23, 2023

Digital Imaging for Blood Diseases被引用 4

一句话总结

本文提出了WBCAtt，这是首个公开的白血细胞图像数据集，包含10,298张图像，标注了11种详细的形态学特征——如细胞核形状、细胞质纹理、颗粒类型和染色质密度——这些特征源自病理学家的咨询和医学文献。该数据集通过支持高精度的属性预测（例如，使用ViT-Base模型对颗粒颜色'红色'的F1值达到99.96%），推动了血液病学中可解释人工智能的发展，提升了白血细胞分类模型的可解释性。

ABSTRACT

The examination of blood samples at a microscopic level plays a fundamental role in clinical diagnostics, influencing a wide range of medical conditions. For instance, an in-depth study of White Blood Cells (WBCs), a crucial component of our blood, is essential for diagnosing blood-related diseases such as leukemia and anemia. While multiple datasets containing WBC images have been proposed, they mostly focus on cell categorization, often lacking the necessary morphological details to explain such categorizations, despite the importance of explainable artificial intelligence (XAI) in medical domains. This paper seeks to address this limitation by introducing comprehensive annotations for WBC images. Through collaboration with pathologists, a thorough literature review, and manual inspection of microscopic images, we have identified 11 morphological attributes associated with the cell and its components (nucleus, cytoplasm, and granules). We then annotated ten thousand WBC images with these attributes. Moreover, we conduct experiments to predict these attributes from images, providing insights beyond basic WBC classification. As the first public dataset to offer such extensive annotations, we also illustrate specific applications that can benefit from our attribute annotations. Overall, our dataset paves the way for interpreting WBC recognition models, further advancing XAI in the fields of pathology and hematology.

研究动机与目标

• 通过提供超越基本细胞类型分类的形态学标注，解决白血细胞图像分析中可解释人工智能的缺乏问题。
• 通过整合对血液病诊断至关重要的、经病理学家验证的形态学特征，弥合临床诊断与人工智能之间的差距。
• 通过创建大规模、详细且公开可访问的数据集，推动血液病学中可解释机器学习模型的发展。
• 通过为诸如空泡、染色质密度和颗粒形态等属性提供真实标签，促进可解释人工智能（XAI）的研究。
• 通过提供标准化、全面的数据集，支持疾病诊断和模型可解释性等下游应用。

提出的方法

• 通过与病理学家合作、系统性文献回顾以及对白血细胞图像的逐一手动检查，识别出11种形态学特征。
• 对来自PBC数据集的10,298张白血细胞图像全部标注了11项属性，共生成113,000个标签（11项属性 × 约10.3k张图像）。
• 将属性划分为四类：整体细胞、细胞核、细胞质和颗粒，每一类均基于临床相关性及医学参考文献。
• 使用五折交叉验证，在属性预测任务上训练并评估了多种深度学习模型（VGG16、ResNet50、ViT-Base、ConvNeXt-Tiny）。
• 采用标准图像分类架构，通过微调实现多类、多标签属性识别，损失函数为交叉熵损失。
• 通过各类属性的精确率、召回率和F1分数评估性能，结果按属性和模型分别报告。

实验结果

研究问题

• RQ1 深度学习模型能否在显微镜图像中实现对白血细胞详细形态学特征的高精度预测？
• RQ2 不同视觉Transformer与CNN架构在预测白血细胞形态学特征（如颗粒颜色和染色质密度）方面表现如何比较？
• RQ3 在视觉复杂度或临床罕见性不同的属性上，模型性能指标的差异程度如何？
• RQ4 所提出的数据集能否通过属性层面的分析支持血液病学中可解释人工智能系统的发展？
• RQ5 数据质量和标注一致性对医学图像分析中属性预测可靠性的影响如何？

主要发现

• WBCAtt数据集是首个公开可用的、在大规模上提供密集多属性标注的白血细胞数据集，涵盖10,298张图像中的113,000个标签。
• ViT-Base在颗粒颜色属性'红色'上实现了最高的F1分数99.96%，表明该模型对这一定义明确的特征具备近乎完美的预测能力。
• 对于具有多个亚型（如分叶状-双叶形、未分叶-凹陷形）的挑战性属性'细胞核形状'，ViT-Base的F1分数为78.78%，显示出在复杂形态区分上的中等性能。
• CNXT-Tiny模型在'颗粒颜色：无'属性上实现了99.57%的F1分数，表明其在基于缺失的属性上表现强劲。
• 在所有模型中，'染色质密度：疏松'属性的F1分数最低（74.06%），表明细微的染色质模式对当前模型仍具挑战性。
• 该数据集对大多数属性实现了高精度预测（例如，'颗粒类型：圆形'的F1分数达99.86%），证明其在训练稳健、可解释的白血细胞识别系统方面的实用性。