[论文解读] The Impact of an Inter-rater Bias on Neural Network Training

Or Shwartzman, Harel Gazit+2 more|arXiv (Cornell University)|Jun 12, 2019

AI in cancer detection参考文献 11被引用 4

一句话总结

本文研究了评分者间偏差——不同评分者在手动分割标注中的差异——对医学图像分割深度神经网络（DNN）训练的影响。基于ISBI 2015年多发性硬化症挑战赛数据集，研究发现，使用某一评分者标注数据训练的DNN在另一评分者的数据上测试时，Dice分数更低，且病变负荷估计存在偏差，表明模型性能对评分者特有的偏差敏感，而不仅仅是随机变异。

ABSTRACT

The problem of inter-rater variability is often discussed in the context of manual labeling of medical images. It is assumed to be bypassed by automatic model-based approaches for image segmentation which are considered `objective', providing single, deterministic solutions. However, the emergence of data-driven approaches such as Deep Neural Networks (DNNs) and their application to supervised semantic segmentation - brought this issue of raters' disagreement back to the front-stage. In this paper, we highlight the issue of inter-rater bias as opposed to random inter-observer variability and demonstrate its influence on DNN training, leading to different segmentation results for the same input images. In fact, lower Dice scores are calculated if training and test segmentations are of different raters. Moreover, we demonstrate that inter-rater bias in the training examples is amplified when considering the segmentation predictions for the test data. We support our findings by showing that a classifier-DNN trained to distinguish between raters based on their manual annotations performs better when the automatic segmentation predictions rather than the raters' annotations were tested. For this study, we used the ISBI 2015 Multiple Sclerosis (MS) challenge dataset, which includes annotations by two raters with different levels of expertise. The results obtained allow us to underline a worrisome clinical implication of a DNN bias induced by an inter-rater bias during training. Specially, we show that the differences in MS-lesion load estimates increase when the volume calculations are done based on the DNNs' segmentation predictions instead of the manual annotations used for training.

研究动机与目标

• 研究评分者间偏差（与随机变异不同）对基于深度学习的医学图像分割的影响。
• 评估在训练和推理过程中评分者标注差异是否影响DNN性能，特别是Dice分数和病变负荷估计方面。
• 评估DNN是否学习并放大训练数据中固有的评分者特异性偏差。
• 探讨此类偏差的临床影响，特别是在多发性硬化病变的定量磁共振成像分析中的影响。

提出的方法

• 使用ISBI 2015年多发性硬化症挑战赛数据集，其中包含两位不同专业水平评分者的标注。
• 在一位评分者的标注上训练语义分割DNN，并在另一位评分者的测试数据上进行评估，以隔离评分者偏差的影响。
• 使用Dice系数测量性能，量化不同评分者提供的预测与真实标注之间的分割重叠程度。
• 训练一个独立的分类DNN，基于其人工标注区分评分者，并在DNN预测上测试其性能，以评估偏差的传播。
• 比较基于DNN预测和人工标注得出的病变负荷估计，以评估在定量指标中偏差的放大程度。

实验结果

研究问题

• RQ1 人工标注中的评分者间偏差如何影响DNN在医学图像语义分割中的性能？
• RQ2 当测试标注来自与训练标注不同的评分者时，Dice分数是否会下降？
• RQ3 DNN在多大程度上学习并从训练数据传播评分者特异性偏差至预测结果？
• RQ4 一个用于区分评分者的分类器在DNN预测上的表现是否优于在原始人工标注上的表现，从而表明偏差被放大？
• RQ5 当使用DNN预测而非人工标注进行定量病变负荷估计时，评分者间偏差如何影响结果？

主要发现

• 当测试标注来自与训练标注不同的评分者时，观察到Dice分数降低，表明评分者间偏差导致性能下降。
• DNN分类器在使用DNN预测而非人工标注时，区分评分者的准确率更高，表明模型放大了评分者特异性偏差。
• 训练数据中的评分者间偏差在DNN的分割预测中被放大，导致不同评分者之间病变负荷估计的差异增大。
• 基于DNN预测得出的定量病变负荷估计在不同评分者之间表现出比人工标注更大的变异性，表明存在临床上令人担忧的偏差放大现象。
• 结果表明，DNN并非对评分者偏差免疫，即使在确定性模型上进行训练，仍可能传播并放大评分者之间的差异。