[论文解读] Towards continual learning in medical imaging

Chaitanya Baweja, Ben Glocker+1 more|arXiv (Cornell University)|Nov 6, 2018

Radiology practices and education参考文献 11被引用 42

一句话总结

本文评估弹性权重整合（EWC）用于顺序学习两个脑MRI分割任务，结果显示EWC可以减少灾难性遗忘，但仍有明显提升空间。

ABSTRACT

This work investigates continual learning of two segmentation tasks in brain MRI with neural networks. To explore in this context the capabilities of current methods for countering catastrophic forgetting of the first task when a new one is learned, we investigate elastic weight consolidation, a recently proposed method based on Fisher information, originally evaluated on reinforcement learning of Atari games. We use it to sequentially learn segmentation of normal brain structures and then segmentation of white matter lesions. Our findings show this recent method reduces catastrophic forgetting, while large room for improvement exists in these challenging settings for continual learning.

研究动机与目标

• 在医学影像中推动持续终身学习，当前任务数据可能不可用时。
• 评估基于正则化的方法在学习新的分割任务时如何缓解遗忘。
• 量化在生物医学环境中保留旧任务性能与获得新任务性能之间的权衡。

提出的方法

• 将持续学习设置形式化为任务A（CSF/GM/WM 分割）随后任务B（白质病灶分割）。
• 采用 Elastic Weight Consolidation (EWC) 来使用关于任务A的费舍信息来正则化参数更新。
• 将 EWC 与包括微调、L2 正则化和多任务学习（上界）在内的替代基线进行比较。
• 使用 DeepMedic 3D CNN 对 UK Biobank MRI 数据的 T1 和 FLAIR 序列进行分割。
• 计算按任务的 Dice 相似系数（DSC），并在训练 B 时检查 A 的性能以评估遗忘。

实验结果

研究问题

• RQ1 在脑MRI中学习新的分割任务时，当无法获得任务A数据时，EWC 能否缓解灾难性遗忘？
• RQ2 在学习任务B的同时，EWC 相对于简单正则化和微调在保持任务A性能方面表现如何？
• RQ3 在不同正则化强度下，学习任务B与保留任务A之间存在何种权衡？
• RQ4 通过当前方法的持续学习是否接近通过同时在两个任务上进行联合训练得到的上界？

主要发现

• 与简单微调或 L2 正则化相比，EWC 能减少 Task A 的遗忘。
• 在合适的正则化强度下，EWC 能比简单的 L2 正则化更好地保持 Task A 的性能，同时获得 Task B 的性能。
• 多任务学习（同时训练 A 和 B）提供了最佳性能（上界），但在 B 训练时无法获得 Task A 数据时不可行。
• 即使采用正则化，EWC 与多任务上界之间仍存在差距，表明在医学影像的持续学习方面仍有改进空间。