[论文解读] Spherical CNNs

Taco Cohen, Mario Geiger+2 more|arXiv (Cornell University)|Jan 30, 2018

Medical Image Segmentation Techniques参考文献 34被引用 124

一句话总结

本文通过使用广义傅里叶定理和非交换快速傅里叶变换（FFT），定义了一种旋转等变的球面互相关运算，提出了球面卷积神经网络（CNN），实现了在球面数据上的高效且精确的学习。该方法在三维模型识别和原子化能回归任务中达到最先进性能，克服了平面投影带来的失真问题。

ABSTRACT

Convolutional Neural Networks (CNNs) have become the method of choice for learning problems involving 2D planar images. However, a number of problems of recent interest have created a demand for models that can analyze spherical images. Examples include omnidirectional vision for drones, robots, and autonomous cars, molecular regression problems, and global weather and climate modelling. A naive application of convolutional networks to a planar projection of the spherical signal is destined to fail, because the space-varying distortions introduced by such a projection will make translational weight sharing ineffective. In this paper we introduce the building blocks for constructing spherical CNNs. We propose a definition for the spherical cross-correlation that is both expressive and rotation-equivariant. The spherical correlation satisfies a generalized Fourier theorem, which allows us to compute it efficiently using a generalized (non-commutative) Fast Fourier Transform (FFT) algorithm. We demonstrate the computational efficiency, numerical accuracy, and effectiveness of spherical CNNs applied to 3D model recognition and atomization energy regression.

研究动机与目标

• 解决标准CNN在球面数据上因平面投影导致的失真问题。
• 为球面信号开发一种数学上严谨且旋转等变的卷积运算。
• 利用旋转群上的广义快速傅里叶变换，实现球面相关运算的高效计算。
• 在真实应用场景（如三维模型识别和分子能量预测）中展示球面CNN的有效性。

提出的方法

• 提出一种新颖的球面互相关运算，兼具表达能力与旋转等变性。
• 推导球面信号的广义傅里叶定理，实现频域计算。
• 利用非交换快速傅里叶变换（FFT），在频域高效计算相关运算。
• 通过群论原理在球面上实现权共享，同时保持旋转不变性。
• 设计一种集成球面卷积层与标准深度学习组件的球面CNN架构。
• 通过球面信号处理基准测试和三维视觉、量子化学领域的实际数据集验证方法。

实验结果

研究问题

• RQ1 能否构建一种球面CNN，在保持旋转等变性的同时实现高效计算？
• RQ2 如何定义球面互相关以避免平面投影带来的失真？
• RQ3 SO(3)群上的广义傅里叶定理在多大程度上实现了球面卷积的快速与精确计算？
• RQ4 在实际应用中，球面CNN相较于应用于平面投影的平面CNN，在球面数据上的表现如何？

主要发现

• 所提出的球面互相关运算具有旋转等变性，能够有效实现球面流形上的特征学习。
• 广义傅里叶定理通过非交换FFT实现高效计算，显著降低计算复杂度。
• 在三维模型识别任务中，球面CNN优于应用于平面投影的标准CNN。
• 该方法在原子化能回归任务中实现高精度，展现出在分子性质预测方面的强大性能。
• 数值实验验证了该方法在球面网格上的计算效率与数值稳定性。