[论文解读] Sample Efficient Semantic Segmentation using Rotation Equivariant Convolutional Networks

Jasper Linmans, Jim Winkens+3 more|arXiv (Cornell University)|Jul 2, 2018

AI in cancer detection参考文献 9被引用 16

一句话总结

本文提出了一种旋转与反射等变的U-Net，用于医学影像中样本高效的语义分割。通过将群等变卷积扩展至分割任务，采用G→Z²和转置G-卷积的方式，该模型在仅使用12.5%数据训练时，Dice分数相比标准U-Net提升了7.2%，展现出更优的样本效率与鲁棒性。

ABSTRACT

We propose a semantic segmentation model that exploits rotation and reflection symmetries. We demonstrate significant gains in sample efficiency due to increased weight sharing, as well as improvements in robustness to symmetry transformations. The group equivariant CNN framework is extended for segmentation by introducing a new equivariant (G->Z2)-convolution that transforms feature maps on a group to planar feature maps. Also, equivariant transposed convolution is formulated for up-sampling in an encoder-decoder network. To demonstrate improvements in sample efficiency we evaluate on multiple data regimes of a rotation-equivariant segmentation task: cancer metastases detection in histopathology images. We further show the effectiveness of exploiting more symmetries by varying the size of the group.

研究动机与目标

• 解决医学图像分割中像素级标注有限的问题，特别是在组织病理学图像中的挑战。
• 通过显式编码旋转与反射对称性，提升语义分割的样本效率。
• 增强模型对输入旋转与反射的鲁棒性，此类变换在全切片图像中十分常见。
• 证明群等变网络可降低预测方差，并在数据稀缺条件下提升泛化能力。
• 研究增大群大小（如p4与p4m）对分割性能与泛化能力的影响。

提出的方法

• 提出一种新型的G→Z²卷积，将来自p4m群的群结构特征图映射至标准平面特征图，以实现分割输出。
• 构建等变转置G-卷积，用于解码路径中的上采样，保持群等变性。
• 采用p4m群（包含0°、90°、180°、270°旋转及反射）以在特征学习中强制实现对称性。
• 将Cohen与Welling（2016）提出的G-CNN框架应用于编码器-解码器U-Net架构，实现像素级预测。
• 通过将滤波器数量除以√|G|，补偿参数量的增加，从而保持参数效率。
• 使用标准Adam优化与早停策略进行训练，仅在基线比较中使用数据增强。

实验结果

研究问题

• RQ1 群等变卷积能否提升组织病理学图像语义分割的样本效率？
• RQ2 与标准U-Net相比，所提出的基于G-CNN的U-Net在训练数据有限时表现如何？
• RQ3 通过p4m群引入反射对称性，是否能带来优于仅旋转对称性（p4）的泛化性能？
• RQ4 与标准CNN相比，该模型在旋转反射变换下的预测方差降低程度如何？
• RQ5 在未使用测试时增强的情况下，该模型能否在旋转或反射输入上保持鲁棒性与高性能？

主要发现

• P4M U-Net在完整Camelyon16数据集上达到83.7%的Dice分数，较标准U-Net（79.8%）高出3.9个百分点。
• 在仅12.5%训练数据下，P4M U-Net达到79.6%的Dice分数，超过标准U-Net在完整数据集上的74.2%。
• 随着数据稀缺程度增加，P4M U-Net与标准U-Net之间的性能差距扩大，在12.5%数据下达到7.2%的提升。
• P4M U-Net在旋转反射变换下表现出显著更低的预测方差，其标准差值与数值误差无异。
• 采用p4m群（含反射）的Dice分数为83.7%，而仅旋转对称的p4群为82.5%，证实更多对称性可提升泛化能力。
• 标准U-Net在旋转与反射下表现出不稳定的预测，尤其在罕见模式（如肿瘤边界）上，而群等变架构有效稳定了这些预测。