[论文解读] PECNet: A Deep Multi-Label Segmentation Network for Eosinophilic Esophagitis Biopsy Diagnostics

Nati Daniel, Ariel Larey+10 more|arXiv (Cornell University)|Mar 2, 2021

Eosinophilic Esophagitis被引用 5

一句话总结

PECNet 是一种深度多标签语义分割网络，可自动检测并量化 H&E 染色食管活检切片中的嗜酸性粒细胞，对嗜酸性粒细胞食管炎（EoE）疾病活动性的分类准确率达到 98.5%。该模型在 23 名患者的超过 1 亿个标记像素上进行训练，并在来自 419 名患者的 1,089 幅全切片图像上进行验证，其平均交并比（mIoU）达到 0.93，完整细胞计数的平均绝对误差为 0.611 个嗜酸性粒细胞。

ABSTRACT

Background. Eosinophilic esophagitis (EoE) is an allergic inflammatory condition of the esophagus associated with elevated numbers of eosinophils. Disease diagnosis and monitoring requires determining the concentration of eosinophils in esophageal biopsies, a time-consuming, tedious and somewhat subjective task currently performed by pathologists. Methods. Herein, we aimed to use machine learning to identify, quantitate and diagnose EoE. We labeled more than 100M pixels of 4345 images obtained by scanning whole slides of H&E-stained sections of esophageal biopsies derived from 23 EoE patients. We used this dataset to train a multi-label segmentation deep network. To validate the network, we examined a replication cohort of 1089 whole slide images from 419 patients derived from multiple institutions. Findings. PECNet segmented both intact and not-intact eosinophils with a mean intersection over union (mIoU) of 0.93. This segmentation was able to quantitate intact eosinophils with a mean absolute error of 0.611 eosinophils and classify EoE disease activity with an accuracy of 98.5%. Using whole slide images from the validation cohort, PECNet achieved an accuracy of 94.8%, sensitivity of 94.3%, and specificity of 95.14% in reporting EoE disease activity. Interpretation. We have developed a deep learning multi-label semantic segmentation network that successfully addresses two of the main challenges in EoE diagnostics and digital pathology, the need to detect several types of small features simultaneously and the ability to analyze whole slides efficiently. Our results pave the way for an automated diagnosis of EoE and can be utilized for other conditions with similar challenges.

研究动机与目标

• 解决 EoE 活检诊断中手动嗜酸性粒细胞计数的主观性和耗时性问题。
• 开发一种可扩展的自动化全切片图像分析解决方案，适用于数字病理学。
• 实现在同一时间检测并量化多种小型细胞结构，包括完整和非完整的嗜酸性粒细胞。
• 在多机构、多样化的患者队列中验证模型，以实现临床应用的稳健性。
• 减少诊断差异性，提高嗜酸性粒细胞食管炎评估的可重复性。

提出的方法

• 在 23 名 EoE 患者的 4,345 幅全切片图像上训练深度卷积神经网络，其中超过 1 亿个像素经过人工标注。
• 该网络采用多标签语义分割方法，以区分完整嗜酸性粒细胞、非完整嗜酸性粒细胞和背景组织。
• 应用数据增强和迁移学习技术，以提高模型在不同切片制备条件下的泛化能力。
• 在来自多个机构的 419 名患者的 1,089 幅全切片图像的复制队列中对模型进行验证。
• 推理在全切片层面进行，实现了高效且全面的分析，无需基于补丁的重建。
• 通过 mIoU 评估分割性能，通过准确率、敏感性和特异性评估疾病分类性能。

实验结果

研究问题

• RQ1 深度学习模型能否在 H&E 染色的食管活检切片中准确分割完整和非完整的嗜酸性粒细胞？
• RQ2 自动化嗜酸性粒细胞计数在多大程度上可减少 EoE 诊断中的观察者间差异性？
• RQ3 该模型在多机构、多扫描仪的全切片图像数据集上的泛化能力如何？
• RQ4 仅使用 H&E 染色切片，该模型能否实现对 EoE 疾病活动性的高诊断准确率？
• RQ5 该模型在检测完整与退化嗜酸性粒细胞之间细微形态差异方面的表现如何？

主要发现

• PECNet 对完整和非完整嗜酸性粒细胞的分割实现了 0.93 的平均交并比（mIoU）。
• 该模型对完整嗜酸性粒细胞的计数平均绝对误差为每张切片 0.611 个，表明具有高精度。
• 在验证队列中，PECNet 对 EoE 疾病活动性分类的准确率为 94.8%，敏感性为 94.3%，特异性为 95.14%。
• 该模型对 EoE 疾病活动性的分类准确率达到 98.5%，展现出强大的诊断性能。
• 该网络成功实现了对全切片图像的大规模处理，在不同组织制备条件下均保持了高分割保真度。
• 结果表明，深度多标签分割可有效应对 EoE 诊断中数字病理学的关键挑战。