[论文解读] Synthetic Sample Selection via Reinforcement Learning

Jiarong Ye, Yuan Xue+5 more|arXiv (Cornell University)|Aug 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 5

一句话总结

本文提出一种基于强化学习（RL）的方法，用于在组织病理学图像识别的数据增强中选择高质量的合成医学图像。通过使用验证准确率作为奖励信号，基于Transformer的控制器经由近端策略优化（PPO）训练，该方法选择信息丰富且不具干扰性的合成样本，在宫颈癌数据集上使分类准确率提升8.1%，在淋巴结数据集上提升2.3%，优于基线方法。

ABSTRACT

Synthesizing realistic medical images provides a feasible solution to the shortage of training data in deep learning based medical image recognition systems. However, the quality control of synthetic images for data augmentation purposes is under-investigated, and some of the generated images are not realistic and may contain misleading features that distort data distribution when mixed with real images. Thus, the effectiveness of those synthetic images in medical image recognition systems cannot be guaranteed when they are being added randomly without quality assurance. In this work, we propose a reinforcement learning (RL) based synthetic sample selection method that learns to choose synthetic images containing reliable and informative features. A transformer based controller is trained via proximal policy optimization (PPO) using the validation classification accuracy as the reward. The selected images are mixed with the original training data for improved training of image recognition systems. To validate our method, we take the pathology image recognition as an example and conduct extensive experiments on two histopathology image datasets. In experiments on a cervical dataset and a lymph node dataset, the image classification performance is improved by 8.1% and 2.3%, respectively, when utilizing high-quality synthetic images selected by our RL framework. Our proposed synthetic sample selection method is general and has great potential to boost the performance of various medical image recognition systems given limited annotation.

研究动机与目标

• 为解决合成医学图像增强中缺乏质量控制的问题，避免因引入低质量图像而扭曲数据分布。
• 通过仅选择最可靠的合成样本，提升在数据稀缺条件下深度学习模型在医学图像识别中的性能。
• 通过从下游任务性能中学习最优选择策略，克服手工设计指标在合成样本选择中的局限性。
• 提供一种可泛化的、基于学习的框架，适用于各类标注有限的医学影像任务中的合成样本选择。

提出的方法

• 使用条件生成对抗网络（HistoGAN）生成用于选择的合成组织病理学切片池。
• 使用ResNet34主干网络从真实训练图像中提取特征，作为强化学习控制器的输入状态。
• 基于Transformer的控制器使用近端策略优化（PPO）算法，对合成样本做出二元决策（选择/丢弃）。
• 强化学习智能体以验证分类准确率为奖励信号进行训练，实现对下游性能的端到端样本选择优化。
• 该框架应用于选择性增强流水线中，仅将选定的合成图像与真实数据混合用于训练。
• 消融研究对比了不同控制器架构（GRU、GRU-Attn、Transformer）和策略算法（REINFORCE、PPO），验证了选择Transformer与PPO的合理性。

实验结果

研究问题

• RQ1 强化学习智能体能否比手工设计的指标更有效地学习选择能提升下游分类性能的合成医学图像？
• RQ2 与基于质心距离的指标相比，基于学习的方法在选择的合成样本分布上存在何种差异？
• RQ3 基于Transformer的控制器与PPO算法对合成样本选择性能有何影响？
• RQ4 所提出的方法是否能在标注有限的不同组织病理学数据集中实现泛化？

主要发现

• 所提出的基于强化学习的方法在宫颈组织病理学数据集上使分类准确率提升8.1%，在淋巴结数据集上提升2.3%，优于基线方法。
• 在所有评估指标上，该方法均优于传统数据增强、直接GAN增强以及基于度量的选择方法（如质心距离）。
• 直方图分析表明，基于强化学习的方法在更广泛的特征距离范围内选择样本，距离类别质心，表明其选择策略更具平衡性与泛化能力。
• 消融研究证实，Transformer控制器与PPO算法的组合性能最佳，优于基于GRU的模型和REINFORCE算法。
• 所选的合成样本包含更多语义相关特征，表现为AUC、敏感性和特异性等指标的提升。
• 该框架展现出良好的泛化能力，具有扩展至其他医学影像任务及主动学习场景的潜力。