[论文解读] Training Multi-organ Segmentation Networks with Sample Selection by Relaxed Upper Confident Bound

Yan Wang, Yuyin Zhou+4 more|arXiv (Cornell University)|Apr 7, 2018

Advanced Neural Network Applications参考文献 15被引用 5

一句话总结

该论文提出了一种用于训练多器官分割网络的宽松置信上界（RUCB）样本选择方法，通过在利用难样本与探索访问较少的样本之间实现平衡，同时降低对标注错误的敏感性，从而提升性能。RUCB在16个器官上实现了74.75%的平均Dice相似系数（DSC），显著优于均匀采样（Uniform）、在线难样本挖掘（OHEM）和标准UCB方法，尤其在肾上腺等小而难以分割的结构上表现突出。

ABSTRACT

Deep convolutional neural networks (CNNs), especially fully convolutional networks, have been widely applied to automatic medical image segmentation problems, e.g., multi-organ segmentation. Existing CNN-based segmentation methods mainly focus on looking for increasingly powerful network architectures, but pay less attention to data sampling strategies for training networks more effectively. In this paper, we present a simple but effective sample selection method for training multi-organ segmentation networks. Sample selection exhibits an exploitation-exploration strategy, i.e., exploiting hard samples and exploring less frequently visited samples. Based on the fact that very hard samples might have annotation errors, we propose a new sample selection policy, named Relaxed Upper Confident Bound (RUCB). Compared with other sample selection policies, e.g., Upper Confident Bound (UCB), it exploits a range of hard samples rather than being stuck with a small set of very hard ones, which mitigates the influence of annotation errors during training. We apply this new sample selection policy to training a multi-organ segmentation network on a dataset containing 120 abdominal CT scans and show that it boosts segmentation performance significantly.

研究动机与目标

• 解决医学图像分割数据集中标注错误带来的挑战，这些错误可能使错误样本被误认为是难样本，从而误导模型训练。
• 通过设计一种在利用难样本与探索访问较少样本之间实现平衡的样本选择策略，提升多器官分割训练的效率与分割精度。
• 通过放宽对极难样本的选择，降低模型因过度拟合于少数高损失、可能错误的样本而陷入噪声或错误标注的风险。
• 证明一种简单而有效的样本选择策略可显著提升性能，而无需对网络架构进行复杂修改。

提出的方法

• 将上界置信区间（UCB）多臂赌博机策略适配于深度学习训练中的样本选择，将每个2D切片或3D子体积视为一个“臂”。
• 提出一种UCB的宽松版本（RUCB），从更广泛的难样本中进行选择，降低因过度拟合于少数极高损失、可能错误的样本而带来的风险。
• 在选择得分中引入置信区间项，以平衡样本的平均损失（利用）与被选中的次数（探索），并通过可调超参数α控制宽松程度。
• 在自举训练循环中应用RUCB：先训练一个初始全卷积网络（FCN），计算每个样本的损失，然后通过RUCB得分迭代选择新训练样本，重新训练网络。
• 将RUCB得分定义为：$ \text{RUCB}(i) = \bar{l}_i + \alpha \sqrt{ \frac{2 \ln n}{n_i} } $，其中$ \bar{l}_i $为样本$ i $的平均损失，$ n_i $为其被选择的次数，$ n $为总迭代次数，$ \alpha $控制探索程度。
• 在120例腹部CT扫描上进行训练，使用Dice相似系数（DSC）作为16个器官的评估指标，将RUCB与均匀采样、OHEM和标准UCB采样进行比较。

实验结果

研究问题

• RQ1 一种在利用与探索之间实现平衡的样本选择策略，是否能在不修改网络架构的前提下提升多器官分割性能？
• RQ2 RUCB在减轻训练过程中标注错误影响方面，相较于标准UCB和OHEM表现如何？
• RQ3 放宽对难样本的选择是否能降低在医学图像分割中因噪声或错误标注而引起的过拟合风险？
• RQ4 RUCB在肾上腺等小而难以分割的器官上的分割精度提升程度如何？
• RQ5 与UCB和均匀采样相比，RUCB的性能随训练迭代次数的增加如何变化？

主要发现

• RUCB在16个器官上实现了74.75%的平均Dice相似系数（DSC），显著优于均匀采样（73.55%）、OHEM（71.08%）和标准UCB（73.47%）。
• 肾上腺的DSC从均匀采样的29.33%提升至RUCB的36.76%，相对提升达25%，凸显了RUCB在小而具有挑战性的器官上的有效性。
• 腹腔干动脉的分割DSC从均匀采样的34.49%提升至RUCB的38.45%，表明其在小而复杂的结构上性能显著增强。
• RUCB在60,000次迭代后达到74.07%的DSC，优于经过80,000次迭代训练的UCB，表明其训练效率更高。
• OHEM的表现甚至劣于均匀采样，表明直接基于最高损失进行采样效果不佳，可能放大噪声影响。
• 可视化分析表明，UCB频繁选择存在标注错误的样本（如结肠标注错误），而RUCB仅选择最困难但标注正确的样本。