[论文解读] Segmenting Potentially Cancerous Areas in Prostate Biopsies using Semi-Automatically Annotated Data

Nikolay Burlutskiy, Nicolas Pinchaud+8 more|arXiv (Cornell University)|Apr 15, 2019

AI in cancer detection参考文献 14被引用 4

一句话总结

本文提出了一种深度学习框架，用于在前列腺穿刺活检中分割潜在癌变区域，采用一种新颖且客观定义的‘无基底细胞的腺样组织’（WOB）类别作为真实标签。通过利用免疫荧光图像半自动生成的WOB标注，该方法在穿刺活检中实现了高精度——F1分数为0.80，PR AUC为0.89，优于病理学家在检测被遗漏的WOB区域方面的表现，并在H&E染色切片上达到人类水平的性能。

ABSTRACT

Gleason grading specified in ISUP 2014 is the clinical standard in staging prostate cancer and the most important part of the treatment decision. However, the grading is subjective and suffers from high intra and inter-user variability. To improve the consistency and objectivity in the grading, we introduced glandular tissue WithOut Basal cells (WOB) as the ground truth. The presence of basal cells is the most accepted biomarker for benign glandular tissue and the absence of basal cells is a strong indicator of acinar prostatic adenocarcinoma, the most common form of prostate cancer. Glandular tissue can objectively be assessed as WOB or not WOB by using specific immunostaining for glandular tissue (Cytokeratin 8/18) and for basal cells (Cytokeratin 5/6 + p63). Even more, WOB allowed us to develop a semi-automated data generation pipeline to speed up the tremendously time consuming and expensive process of annotating whole slide images by pathologists. We generated 295 prostatectomy images exhaustively annotated with WOB. Then we used our Deep Learning Framework, which achieved the $2^{nd}$ best reported score in Camelyon17 Challenge, to train networks for segmenting WOB in needle biopsies. Evaluation of the model on 63 needle biopsies showed promising results which were improved further by finetuning the model on 118 biopsies annotated with WOB, achieving F1-score of 0.80 and Precision-Recall AUC of 0.89 at the pixel-level. Then we compared the performance of the model against 17 biopsies annotated independently by 3 pathologists using only H\&E staining. The comparison demonstrated that the model performed on a par with the pathologists. Finally, the model detected and accurately outlined existing WOB areas in two biopsies incorrectly annotated as totally WOB-free biopsies by three pathologists and in one biopsy by two pathologists.

研究动机与目标

• 通过引入基于生物标志物的客观真实标签类别，减少Gleason分级中的主观性及观察者间/观察者内差异。
• 开发一种可扩展的半自动流程，用于在前列腺全玻片图像中生成WOB区域的像素级标注。
• 在WOB标注数据上训练深度学习模型，以高精度检测穿刺活检中的潜在癌变区域。
• 使用标准H&E染色切片与专家病理学家对比评估模型性能，确保临床相关性。
• 证明模型能够检测出病理学家遗漏的WOB区域，从而提高诊断一致性。

提出的方法

• 将WOB（无基底细胞的腺样组织）类别定义为客观真实标签，通过共染Cytokeratin 8/18（腺样组织）与Cytokeratin 5/6 + p63（基底细胞）实现。
• 开发了一套半自动的数据生成流程，从扫描的免疫荧光图像中生成与WOB真实标签掩膜对齐的H&E图像。
• 使用在Camelyon17挑战赛中获得第二名的框架进行训练，先在295张前列腺切除标本切片上进行预训练，再在118张活检切片上进行微调。
• 应用数据增强和模型集成技术，提升模型在不同扫描仪和临床实验室间的鲁棒性与泛化能力。
• 以精确率-召回率AUC和F1分数为主要评估指标，在63张活检切片上进行评估，并将预测结果与17张活检切片上独立病理学家的标注进行比较。
• 通过消融实验比较仅在前列腺切除标本上训练、仅在活检上训练，或采用联合预训练与微调策略的模型，以识别最优训练策略。

实验结果

研究问题

• RQ1 WOB类别能否作为训练前列腺癌检测深度学习模型的可靠、客观真实标签？
• RQ2 半自动标注生成是否能显著降低病理学家的工作负担，同时保持对WOB区域标注的质量？
• RQ3 在WOB标注数据上训练的深度学习模型能否在H&E染色的穿刺活检上实现与专家病理学家相当的性能？
• RQ4 该模型能否检测出在临床诊断为无WOB的活检中被多位专家病理学家遗漏的WOB区域？
• RQ5 在前列腺切除标本数据上进行联合预训练，随后在活检数据上进行微调，是否能提升模型的泛化能力和性能？

主要发现

• 在前列腺切除标本数据上预训练并在活检数据上微调的模型（M¹,²ₚᵣ,ᵦᵢ）在63张穿刺活检中实现了F1分数0.80和精确率-召回率AUC 0.89。
• 该模型优于仅在活检或仅在前列腺切除标本上训练的模型，最佳复合模型在不同阈值下表现出最高的鲁棒性。
• 与三位病理学家的直接对比显示，该模型在17张H&E染色活检中，敏感性、特异性和F1分数均达到人类水平。
• 该模型成功检测并准确勾画出两例被所有三位病理学家错误标记为无WOB的活检中的WOB区域，以及一例被两位病理学家遗漏的活检。
• 半自动数据生成显著降低了对手动病理学家标注的依赖，同时实现了对295张前列腺切除标本切片的高质量、全面像素级标注。
• 复合模型架构（在前列腺切除标本上预训练 + 在活检上微调）显著提升了感受野和泛化能力，优于其他训练策略。