[论文解读] Rotational 3D Texture Classification Using Group Equivariant CNNs

Vincent Andrearczyk, Adrien Depeursinge|arXiv (Cornell University)|Oct 16, 2018

Medical Image Segmentation Techniques参考文献 10被引用 8

一句话总结

该论文提出了一种基于立方体旋转群O（24种对称性）的3D群等变卷积神经网络，用于分类类似于医学影像模式的合成3D纹理。通过利用群卷积和G-池化，该模型在右角度旋转下表现出更强的鲁棒性，但在任意旋转下仍表现不佳，凸显了在医学影像的3D纹理分析中需要更精细的旋转覆盖。

ABSTRACT

Convolutional Neural Networks (CNNs) traditionally encode translation equivariance via the convolution operation. Generalization to other transformations has recently received attraction to encode the knowledge of the data geometry in group convolution operations. Equivariance to rotation is particularly important for 3D image analysis due to the large diversity of possible pattern orientations. 3D texture is a particularly important cue for the analysis of medical images such as CT and MRI scans as it describes different types of tissues and lesions. In this paper, we evaluate the use of 3D group equivariant CNNs accounting for the simplified group of right-angle rotations to classify 3D synthetic textures from a publicly available dataset. The results validate the importance of rotation equivariance in a controlled setup and yet motivate the use of a finer coverage of orientations in order to obtain equivariance to realistic rotations present in 3D textures.

研究动机与目标

• 探究群等变卷积神经网络是否能提升医学影像中常见旋转变化下的3D纹理分类鲁棒性。
• 评估通过G-卷积实现的内置旋转等变性与通过G-池化实现的旋转不变性对有限训练数据下分类准确率的影响。
• 评估O群（24种右角度旋转）是否足以提供对真实3D纹理模式的充分不变性，或是否需要更高阶的旋转对称性。
• 在受控旋转条件下，将标准3D卷积神经网络与G-CNNs在合成3D纹理数据集上进行比较。
• 分析方向敏感性与局部旋转不变性在区分具有不同方向特征的纹理类别中的作用。

提出的方法

• 基于O群（立方体的24种保向旋转）和O_h群（包含镜像反射）构建3D群等变卷积神经网络（G-CNNs），以在特征学习中编码旋转对称性。
• 采用G-卷积，通过在旋转通道间共享权重，保持等变性，使得输入的旋转对应于特征图的旋转。
• 在特定网络层对方向通道应用G-池化（最大池化或平均池化），以实现局部或全局旋转不变性。
• 在公开的合成3D纹理数据集上训练模型，该数据集对纹理方向性和旋转方向进行了受控变化。
• 在正常、O-旋转和随机旋转的测试集上，将标准3D CNN（Z3-CNN）与O-CNN和O_h-CNN的性能进行比较。
• 使用混淆矩阵和类别级准确率分析，评估不同纹理类型下的方向敏感性和不变性表现。

实验结果

研究问题

• RQ1 与标准3D CNN相比，通过G-卷积引入旋转等变性是否能提升右角度旋转下的3D纹理分类准确率？
• RQ2 G-池化在多大程度上实现了局部或全局旋转不变性，其对旋转纹理的可分性有何影响？
• RQ3 O群等变模型在测试集中未出现的任意旋转上泛化能力如何？
• RQ4 方向性纹理类别是否比非方向性纹理更依赖于旋转不变性，这对模型性能有何影响？
• RQ5 在旋转不变纹理分类中，包含旋转变换对称性（O_h群）是否比仅使用O群等变性能提升性能？

主要发现

• 采用G-池化的O-CNN在右角度旋转下实现了旋转不变性，在O-旋转测试集上显著优于标准Z3-CNN。
• 在O-旋转测试集上，采用最大G-池化的O-CNN表现优异，而平均G-池化因在不同方向间平均特征而降低了可分性。
• 未使用G-池化的O-CNN不具备不变性，在O-旋转测试集上的表现仅略好于Z3-CNN，表明仅靠等变性不足以实现鲁棒性，必须显式引入不变性。
• 在随机旋转（rotate）测试集上，所有G-CNN的准确率均显著低于O-旋转测试集，表明其在任意旋转上的泛化能力较差。
• 方向性纹理（如c10、c11、c12）最受益于旋转不变性，而非方向性纹理（如c6、c15）已能被标准CNN良好分类。
• O_h群未提升性能，因为测试集仅包含保向旋转，反射对称性冗余且降低了模型容量。