[论文解读] Rotation Equivariance and Invariance in Convolutional Neural Networks

Benjamin Chidester, N. Minh+1 more|arXiv (Cornell University)|May 31, 2018

Cell Image Analysis Techniques参考文献 14被引用 24

一句话总结

本文提出一种旋转不变卷积神经网络（RiCNN），通过一种新型的径向卷积层实现旋转等变性，并在过渡层中利用二维离散傅里叶变换（2D-DFT）的幅值响应实现旋转不变性。该方法在MNIST、合成显微镜图像和真实酵母细胞图像数据集上，提升了分类准确率、训练速度，并增强了对超参数选择的鲁棒性，优于标准CNN和G-CNN，尤其在数据有限的情况下表现更优。

ABSTRACT

Performance of neural networks can be significantly improved by encoding known invariance for particular tasks. Many image classification tasks, such as those related to cellular imaging, exhibit invariance to rotation. We present a novel scheme using the magnitude response of the 2D-discrete-Fourier transform (2D-DFT) to encode rotational invariance in neural networks, along with a new, efficient convolutional scheme for encoding rotational equivariance throughout convolutional layers. We implemented this scheme for several image classification tasks and demonstrated improved performance, in terms of classification accuracy, time required to train the model, and robustness to hyperparameter selection, over a standard CNN and another state-of-the-art method.

研究动机与目标

• 提升卷积神经网络在旋转不变图像分类任务中的性能，特别是在细胞与显微成像中，旋转是关键对称性的场景。
• 解决标准CNN和现有等变方法（如G-CNN）的局限性，后者或会丢失全局旋转结构，或需要过多参数。
• 开发一种计算高效的模型，在卷积过程中保持旋转等变性，并通过一种新型过渡层实现旋转不变性。
• 证明显式编码等变性与不变性可带来更好的泛化能力，尤其在小规模训练集上。

提出的方法

• 提出一种径向卷积层，沿特征图的锥形区域卷积旋转后的滤波器，以在整个卷积层中保持旋转等变性。
• 引入基于2D-DFT的过渡层，将旋转后的特征图转换为圆形移位，利用幅值响应对旋转的不变性。
• 使用2D-DFT的幅值作为旋转不变表示，保留滤波器响应之间的相互旋转信息，与G-CNN中逐滤波器池化不同。
• 设计一种新型网络架构RiCNN，结合径向卷积与2D-DFT层，实现在单一框架下的等变性与不变性。
• 采用改进的训练协议，结合数据增强与Dropout，适配真实显微镜数据中注释有限的场景。
• 在多个数据集上验证该方法：旋转MNIST、合成生物标记图像，以及具有亚细胞蛋白定位的实时光学酵母细胞图像。

实验结果

研究问题

• RQ1 新型径向卷积层是否能在减少参数量的同时，有效保持CNN中的旋转等变性，相较于标准CNN或G-CNN方法？
• RQ2 2D-DFT的幅值响应是否相比G-CNN中的逐滤波器池化，能提供更鲁棒、更具信息量的旋转不变表示？
• RQ3 旋转等变卷积与基于2D-DFT的不变性相结合，是否能显著提升在小样本与复杂数据集（如细胞成像）上的分类准确率？
• RQ4 与标准CNN和G-CNN相比，RiCNN在训练时间与超参数敏感性方面改善程度如何？
• RQ5 RiCNN是否能在具有细微表型差异与有限训练数据的真实生物成像任务中实现更好的泛化能力？

主要发现

• RiCNN在所有测试数据集（包括旋转MNIST与合成生物标记图像）上均实现了高于标准CNN与G-CNN的分类准确率，且差异具有统计显著性。
• 在酵母细胞蛋白定位任务中，RiCNN仅使用非深度学习最佳方法（ensLOC）所需数据量的约10%，即实现了0.60至0.67的平均精度，而ensLOC在更简单的数据集上仅达到0.49。
• 引入2D-DFT过渡层后，性能显著优于ReCNN（无2D-DFT的旋转等变CNN），证明其在保留滤波器间旋转信息方面的有效性。
• RiCNN训练速度更快，且在不同超参数设置下性能波动更小，表明其相比标准CNN与G-CNN具有更高的鲁棒性。
• 即使不使用2D-DFT层，ReCNN仍优于标准CNN且参数更少，证实径向卷积层在实现等变性方面的有效性。
• RiCNN的性能差异始终高于G-CNN与标准CNN，表明其在超参数选择不佳时仍具备更强的泛化能力。