[论文解读] Scheduling Techniques for Liver Segmentation: ReduceLRonPlateau Vs OneCycleLR

Ayman Al‐Kababji, Fayçal Bensaali+1 more|arXiv (Cornell University)|Feb 13, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本研究对比了在 MSDC-T8 数据集上基于 U-Net 的肝脏分割任务中使用 ReduceLRonPlateau 与 OneCycleLR 学习率调度技术的效果，结果表明在相同训练条件下，ReduceLRonPlateau 实现了更快的收敛速度，并取得略优的性能（Dice 分数为 98.12% ± 0.04%），优于 OneCycleLR（98.07% ± 0.11%），且两者均超越了先前的最先进结果。

ABSTRACT

Machine learning and computer vision techniques have influenced many fields including the biomedical one. The aim of this paper is to investigate the important concept of schedulers in manipulating the learning rate (LR), for the liver segmentation task, throughout the training process, focusing on the newly devised OneCycleLR against the ReduceLRonPlateau. A dataset, published in 2018 and produced by the Medical Segmentation Decathlon Challenge organizers, called Task 8 Hepatic Vessel (MSDC-T8) has been used for testing and validation. The reported results that have the same number of maximum epochs (75), and are the average of 5-fold cross-validation, indicate that ReduceLRonPlateau converges faster while maintaining a similar or even better loss score on the validation set when compared to OneCycleLR. The epoch at which the peak LR occurs perhaps should be made early for the OneCycleLR such that the super-convergence feature can be observed. Moreover, the overall results outperform the state-of-the-art results from the researchers who published the liver masks for this dataset. To conclude, both schedulers are suitable for medical segmentation challenges, especially the MSDC-T8 dataset, and can be used confidently in rapidly converging the validation loss with a minimal number of epochs.

研究动机与目标

• 评估并比较 ReduceLRonPlateau 与 OneCycleLR 学习率调度器在训练 U-Net 进行肝脏分割任务中的有效性。
• 确定哪种调度器能在 MSDC-T8 数据集上实现更快的收敛速度和更好的泛化性能。
• 探究在早期达到峰值学习率的情况下，OneCycleLR 的超收敛特性是否能在医学图像分割任务中有效实现。
• 通过优化的调度策略与预处理技术，进一步提升肝脏分割在现有最先进水平上的表现。

提出的方法

• 使用 PyTorch 内置的 ReduceLRonPlateau 与 OneCycleLR 调度器，在 MSDC-T8 数据集上训练了 2.5D U-Net 模型。
• 应用标准预处理流程：将 Hounsfield 单位缩放至 [-100, 200]，填充至 512×512，以及基于每张扫描的均值与标准差进行归一化。
• 采用 5 折交叉验证，固定最大训练轮数为 75 个周期，并基于验证损失实施早停策略。
• 使用 Dice 分数、DSC 和验证损失评估模型性能，结果在各折之间取平均。
• 基于自定义脚本（基于 scikit-image 的 marching cubes 算法）从 2D 分割掩码生成 3D 肝脏模型。
• 对两种调度器均进行了学习率优化，其中 OneCycleLR 以峰值学习率为主要超参数，ReduceLRonPlateau 则以初始学习率和耐心值作为关键参数。

实验结果

研究问题

• RQ1 在 MSDC-T8 数据集上，ReduceLRonPlateau 是否在收敛速度与最终验证性能方面优于 OneCycleLR？
• RQ2 当峰值学习率出现在早期时，OneCycleLR 的超收敛特性是否能在医学图像分割任务中被有效观察到？
• RQ3 不同学习率值如何影响在两种调度策略下 U-Net 模型的泛化能力与收敛性能？
• RQ4 经过优化的预处理与调度技术，在多大程度上提升了 MSDC-T8 基准测试中的性能表现，超越了先前的最先进结果？

主要发现

• ReduceLRonPlateau 在学习率为 16×10⁻⁵ 时取得 98.12% ± 0.04% 的 Dice 分数，略优于 OneCycleLR 的最佳结果 98.07% ± 0.11%（峰值学习率为 24×10⁻⁵）。
• ReduceLRonPlateau 收敛速度更快，因其初始学习率较高，而 OneCycleLR 则逐步提升学习率，仅在第 23 个周期左右达到峰值。
• OneCycleLR 的最佳结果出现在峰值学习率为 24×10⁻⁵ 时，但模型达到最优性能所需周期数多于 ReduceLRonPlateau。
• 两种调度器在各折之间均表现出较低的标准差，表明其性能稳定且对数据划分具有鲁棒性。
• 结合优化预处理与调度策略的 U-Net 模型性能超越了先前的最先进方法，包括报告 Dice 分数为 98.18% ± 0.85% 的 GLC-Unet。
• 结果表明，对于 MSDC-T8 数据集，OneCycleLR 的峰值学习率若在第 23 个周期之前达到，可能才是充分实现超收敛的关键。