[论文解读] Variability Matters : Evaluating inter-rater variability in histopathology for robust cell detection

Cholmin Kang, Chunggi Lee+3 more|arXiv (Cornell University)|Oct 11, 2022

AI in cancer detection被引用 4

一句话总结

本文提出一种方法，通过使用一位基准病理学家评估120位认证病理学家的标注一致性，来测量并减少组织病理学细胞标注中的评分者间差异。研究证明，使用较小、低差异性的数据集训练的模型优于使用较大、高差异性数据集训练的模型，表明在细胞检测的深度学习中，标注质量优于数量。

ABSTRACT

Large annotated datasets have been a key component in the success of deep learning. However, annotating medical images is challenging as it requires expertise and a large budget. In particular, annotating different types of cells in histopathology suffer from high inter- and intra-rater variability due to the ambiguity of the task. Under this setting, the relation between annotators' variability and model performance has received little attention. We present a large-scale study on the variability of cell annotations among 120 board-certified pathologists and how it affects the performance of a deep learning model. We propose a method to measure such variability, and by excluding those annotators with low variability, we verify the trade-off between the amount of data and its quality. We found that naively increasing the data size at the expense of inter-rater variability does not necessarily lead to better-performing models in cell detection. Instead, decreasing the inter-rater variability with the expense of decreasing dataset size increased the model performance. Furthermore, models trained from data annotated with lower inter-labeler variability outperform those from higher inter-labeler variability. These findings suggest that the evaluation of the annotators may help tackle the fundamental budget issues in the histopathology domain

研究动机与目标

• 研究评分者间差异对组织病理学细胞检测中深度学习模型性能的影响。
• 开发一种可扩展的方法，用于测量并量化标注者相对于参考（基准）病理学家的一致性。
• 评估通过选择性数据筛选减少评分者间差异是否能提升模型的泛化能力和性能。
• 提供证据表明，在医学图像分析中，高质量的小型数据集可优于大型噪声数据集。
• 通过优先考虑专家一致性而非数据量，支持更高效的病理学标注预算分配。

提出的方法

• 锚定标注协议：一位专家（基准者）对来自12,326张全切片图像（WSIs）的29,387个图像块进行标注。
• 120位病理学家均对测试图像和控制图像进行标注，其中控制图像用于计算一致性得分。
• 采用改进的F1分数（mF1）衡量每位标注者与基准者的一致性，量化评分者间差异。
• 按一致性得分对标注者进行排序，并将数据按百分位数分组（如p0–25、p75–100），以比较不同差异水平下的模型性能。
• 在按一致性百分位数组合的数据子集上训练深度学习模型，并使用标准指标评估性能，辅以显著性检验。
• 采用统计比较（t检验，α=0.05）验证不同差异水平下数据子集的模型性能差异。

实验结果

研究问题

• RQ1 组织病理学细胞标注中的评分者间差异是否显著影响深度学习模型的性能？
• RQ2 能否使用参考（基准）病理学家客观测量并排名标注者的一致性？
• RQ3 在模型性能方面，数据集大小与标注质量之间是否存在权衡？
• RQ4 在细胞检测任务中，较小的高一致性数据集是否能优于更大的低一致性数据集？
• RQ5 排除高差异性标注者在多大程度上能提升模型的泛化能力和效率？

主要发现

• 120位病理学家的平均一致性得分为0.70，标准差为0.08，表明存在显著的评分者间差异。
• 平均Cohen’s kappa系数为κ = 0.43，反映标注者之间仅存在中等程度的一致性，范围从-0.01到0.87。
• 在低差异性标注者（p75–100）数据上训练的模型优于在高差异性数据（p0–25）上训练的模型，统计显著性p值为0.00614。
• 即使仅使用50%的数据，基于低差异性标注（p50–100）训练的模型仍优于在完整数据集上训练的模型，p值为0.00054。
• 在上半部分数据（p25–100）上训练的模型显著优于完整数据集模型（p值 = 0.01778），表明减少数据量但降低差异性可获得更优性能。
• 研究表明，通过仅选择高一致性标注者，可将标注时间减少约50%（从2298小时降至1176小时），且不牺牲模型性能。