[论文解读] The Worrisome Impact of an Inter-rater Bias on Neural Network Training

Or Shwartzman, Harel Gazit+2 more|arXiv (Cornell University)|Jun 12, 2019

Neural Networks and Applications参考文献 11被引用 9

一句话总结

本文表明，人工医学图像标注中的评分者间偏差会显著影响深度神经网络（DNN）的训练，导致即使使用相同架构，分割结果也不一致。当DNN在不同评分者（尤其是经验较少者）的标注数据上进行训练时，其输出系统性地不同：在另一名评分者标注的数据上测试时，Dice分数更低；且分类器DNN对DNN预测结果的区分能力优于对原始标注的区分能力，表明学习表征中的偏差被放大。

ABSTRACT

The problem of inter-rater variability is often discussed in the context of manual labeling of medical images. The emergence of data-driven approaches such as Deep Neural Networks (DNNs) brought this issue of raters' disagreement to the front-stage. In this paper, we highlight the issue of inter-rater bias as opposed to random inter-observer variability and demonstrate its influence on DNN training, leading to different segmentation results for the same input images. In fact, lower overlap scores are obtained between the outputs of a DNN trained on annotations of one rater and tested on another. Moreover, we demonstrate that inter-rater bias in the training examples is amplified and becomes more consistent, considering the segmentation predictions of the DNNs' test data. We support our findings by showing that a classifier-DNN trained to distinguish between raters based on their manual annotations performs better when the automatic segmentation predictions rather than the actual raters' annotations were tested. For this study, we used two different datasets: the ISBI 2015 Multiple Sclerosis (MS) challenge dataset, including MRI scans each with annotations provided by two raters with different levels of expertise; and Intracerebral Hemorrhage (ICH) CT scans with manual and semi-manual segmentations. The results obtained allow us to underline a worrisome clinical implication of a DNN bias induced by an inter-rater bias during training. Specifically, we present a consistent underestimate of MS-lesion loads when calculated from segmentation predictions of a DNN trained on input provided by the less experienced rater. In the same manner, the differences in ICH volumes calculated based on outputs of identical DNNs, each trained on annotations from a different source are more consistent and larger than the differences in volumes between the manual and semi-manual annotations used for training.

研究动机与目标

• 调查评分者间偏差（与随机变异不同）对基于深度学习的医学图像分割的影响。
• 量化评分者专业水平或标注风格差异对DNN训练和测试性能的影响。
• 证明在不同评分者标注数据上训练的DNN即使架构相同，也会产生系统性不同的分割输出。
• 评估训练过程中引入的偏差是否在DNN预测中被放大，使得对预测结果的分类比对原始标注的分类更准确。
• 提出一种结合多名评分者标注数据的混合训练策略，以减轻偏差并提高模型鲁棒性。

提出的方法

• 在MS-lesion MRI和ICH-CT数据集上，使用两位不同评分者的分割标注训练基于U-Net的DNN。
• 通过交叉评估评估模型性能：在一名评分者的标注上训练，在另一名评分者的标注上测试，测量Dice分数。
• 训练一个独立的分类器DNN，用于区分来自不同评分者的分割结果，输入包括原始人工标注和DNN预测输出。
• 比较原始标注与DNN预测结果的分类准确率，以评估偏差是否在学习表征中被放大。
• 提出并评估一种混合训练方案，使用两位评分者标注的加权组合，调整专家与经验较少评分者标注的比例。
• 使用标准指标（Dice分数、命中率）量化分割一致性差异和分类器性能。

实验结果

研究问题

• RQ1 人工标注中的评分者间偏差如何影响基于这些标注训练的DNN的分割性能？
• RQ2 在不同评分者标注数据上训练的DNN对同一输入图像是否会产生显著不同的分割输出？
• RQ3 评分者间偏差是否在DNN的预测中被放大，使得对预测结果的分类比对原始标注的分类更准确？
• RQ4 当使用DNN预测结果而非原始标注时，分类器DNN是否能更准确地区分来自不同评分者的分割结果？
• RQ5 在训练数据中引入少量专家标注是否能减少DNN分割输出中的偏差？

主要发现

• 在不同评分者标注数据上训练的DNN进行交叉评估时，Dice分数显著降低：MS-lesion为0.77±0.04，ICH为0.79±0.07，表明当测试数据来自不同评分者时性能下降。
• 分类器DNN在区分两名不同评分者DNN预测结果时的命中率（0.93±0.03）高于区分原始人工标注时的命中率（0.90±0.05），表明学习表征中的偏差被放大。
• 对于ICH数据集，分类器在DNN预测上的命中率为0.95±0.04，在原始标注上的命中率为0.917±0.06，证实模型输出中偏差的一致性增强。
• 研究发现，当DNN在经验较少评分者的标注数据上训练时，MS-lesion负荷被系统性低估，表明在疾病负担估计中存在临床相关偏差。
• 即使DNN架构和训练方案完全相同，仅因训练数据来自不同评分者，模型输出也出现显著差异，凸显评分者特异性偏差对模型行为的塑造作用。
• 在训练数据中引入少量专家标注（例如5/16或6/16）可提高输出一致性并减少偏差，表明这是一种实用的缓解策略。