[论文解读] Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation

Xiaowei Xu, Qing Lu+5 more|arXiv (Cornell University)|Mar 13, 2018

AI in cancer detection参考文献 19被引用 39

一句话总结

本文提出了一种在全卷积网络（FCNs）中用于生物医学图像分割的新型量化应用，其目的并非模型压缩，而是减少过拟合并提高准确率。通过将量化整合到最先进的框架中的建议标注和网络训练两个阶段，该方法在 MICCAI Gland 数据集上实现了最高 1% 的分割性能提升，同时将内存使用量减少了高达 6.4 倍。

ABSTRACT

With pervasive applications of medical imaging in health-care, biomedical image segmentation plays a central role in quantitative analysis, clinical diagno- sis, and medical intervention. Since manual anno- tation su ers limited reproducibility, arduous e orts, and excessive time, automatic segmentation is desired to process increasingly larger scale histopathological data. Recently, deep neural networks (DNNs), par- ticularly fully convolutional networks (FCNs), have been widely applied to biomedical image segmenta- tion, attaining much improved performance. At the same time, quantization of DNNs has become an ac- tive research topic, which aims to represent weights with less memory (precision) to considerably reduce memory and computation requirements of DNNs while maintaining acceptable accuracy. In this paper, we apply quantization techniques to FCNs for accurate biomedical image segmentation. Unlike existing litera- ture on quantization which primarily targets memory and computation complexity reduction, we apply quan- tization as a method to reduce over tting in FCNs for better accuracy. Speci cally, we focus on a state-of- the-art segmentation framework, suggestive annotation [22], which judiciously extracts representative annota- tion samples from the original training dataset, obtain- ing an e ective small-sized balanced training dataset. We develop two new quantization processes for this framework: (1) suggestive annotation with quantiza- tion for highly representative training samples, and (2) network training with quantization for high accuracy. Extensive experiments on the MICCAI Gland dataset show that both quantization processes can improve the segmentation performance, and our proposed method exceeds the current state-of-the-art performance by up to 1%. In addition, our method has a reduction of up to 6.4x on memory usage.

研究动机与目标

• 通过利用量化而非压缩，将其作为正则化手段以减少过拟合，从而提高全卷积网络（FCNs）在生物医学图像分割中的准确率。
• 通过在样本选择和网络训练两个阶段整合量化，将最先进的建议标注框架适配于 FCNs。
• 评估量化是否能在低数据、高变异性生物医学分割任务中提升性能，特别是针对恶性结构。
• 在不牺牲准确率的前提下实现显著的内存减少，从而实现在资源受限系统中的高效部署。

提出的方法

• 提出 '带量化的建议标注'，通过在基于主动学习的样本选择过程中应用量化，生成高度具有代表性的训练样本。
• 实施 '带量化的网络训练'，通过在优化过程中进行权重量化，对训练过程进行正则化，从而减少 FCNs 中的过拟合。
• 采用 INQ（迭代网络量化）方法进行权重量化，实现从全精度到 5–7 位的位宽缩减。
• 采用对称、非均匀的量化方案，以保持参数分布并最小化准确率损失。
• 采用基于集成的训练方法，使用 5 个并行 FCN，以提高鲁棒性和性能，尤其在高变异性环境下。
• 在多种配置下评估性能，比较建议标注和网络训练中量化与非量化变体的表现。

实验结果

研究问题

• RQ1 FCN 中权重量化能否作为正则化手段，以减少过拟合并提高生物医学图像分析中的分割准确率？
• RQ2 在建议标注阶段（即选择代表性样本时）应用量化，是否能带来比标准采样更好的泛化性能？
• RQ3 在网络训练过程中应用量化，对性能有何影响，特别是在与使用全精度权重的标准训练相比时？
• RQ4 在生物医学分割的 FCN 中，量化位宽与性能增益之间的最优平衡点是什么？
• RQ5 量化能否同时提升准确率并减少基于 FCN 的分割模型的内存使用？

主要发现

• 所提出的方法在 MICCAI Gland 数据集上的分割准确率超越了当前最先进水平，最高提升达 1%，尤其在非恶性（部分 A）和恶性（部分 B）受试者中表现突出。
• 带量化的建议标注在所有配置下平均提升 0.9% 的性能，尤其对单个 FCN 模型有显著增益。
• 在使用五个并行 FCN 时，带量化的网络训练带来了显著性能提升，表明量化正则化效果在集成设置中更为有效。
• 当采用 5 位量化时，内存使用量最高可减少 6.4 倍，且由于激活层仍使用浮点数，对运行时性能影响极小。
• 在量化级别（5–7 位）上观察到准确率呈现倒 U 型趋势，表明存在一个最优量化点，其中 7 位 INQ 表现最佳。
• 结果表明，在某些配置下量化可提升准确率，与普遍认为量化仅降低准确率的假设相矛盾，凸显了其正则化潜力。