[论文解读] Spherical CNNs on Unstructured Grids

Chiyu Max Jiang, Jingwei Huang+4 more|arXiv (Cornell University)|Jan 7, 2019

Remote Sensing and LiDAR Applications被引用 66

一句话总结

tldr: 本文提出 MeshConv，一种基于参数化微分算子 的网格卷积，能够在非结构化网格上实现高效的可定向卷积神经网络，用于球面信号，参数更少，同时在各任务上达到或超过最先进的性能。

ABSTRACT

We present an efficient convolution kernel for Convolutional Neural Networks (CNNs) on unstructured grids using parameterized differential operators while focusing on spherical signals such as panorama images or planetary signals. To this end, we replace conventional convolution kernels with linear combinations of differential operators that are weighted by learnable parameters. Differential operators can be efficiently estimated on unstructured grids using one-ring neighbors, and learnable parameters can be optimized through standard back-propagation. As a result, we obtain extremely efficient neural networks that match or outperform state-of-the-art network architectures in terms of performance but with a significantly lower number of network parameters. We evaluate our algorithm in an extensive series of experiments on a variety of computer vision and climate science tasks, including shape classification, climate pattern segmentation, and omnidirectional image semantic segmentation. Overall, we present (1) a novel CNN approach on unstructured grids using parameterized differential operators for spherical signals, and (2) we show that our unique kernel parameterization allows our model to achieve the same or higher accuracy with significantly fewer network parameters.

研究动机与目标

• 在非结构化网格（网格）上为球面信号开发可定向的CNN。
• 提出使用微分算子进行核参数化以减少参数。
• 证明该方法在多任务中以更少的参数实现高准确度。
• 展示其对球面 MNIST、3D 物体分类、全向分割和气候模式分割的适用性。
• 开源代码发布以便进一步研究与扩展。

提出的方法

• 用可学习权重参数化的一组微分算子线性组合来替代传统的卷积核。
• 使用四个算子：单位算子、x方向和y方向的一阶导数，以及拉普拉斯算子，形成核( theta0*I + theta1*dx + theta2*dy + theta3*L )。
• 通过一环邻域和基于余切的拉普拉斯离散化，能够在非结构化网格上高效估计微分算子。
• 用二十面体网格对球面进行离散化，以实现易于粗化/细化以及池化/反池化。
• 端到端训练，使用反向传播和常见优化器。
• 提供面向分类、分割和气候任务的编码器–解码器变体的 MeshConv 架构。

实验结果

研究问题

• RQ1 参数化微分算子（PDOs）是否能在非结构化网格上以更少的参数逼近传统卷积核？
• RQ2 基于 PDO 的 MeshConv 网络在球面和流形-valued 任务上是否能实现有竞争力或更高的准确性，同时提高参数效率？
• RQ3 就全向图像分割和气候模式分割等任务而言，可定向球面CNN的表现与最先进方法相比如何？
• RQ4 在精度和效率方面，二十面体球面网格是否是球面信号CNN的有效离散化？
• RQ5 在核中包含多种微分算子对性能的影响（消融研究）是什么？

主要发现

• 基于 PDO 的 MeshConv 在多任务上达到或接近最好/竞争性准确度，同时显著减少参数。
• 在球面 MNIST 上，所提方法在约 62k 参数下实现 99.23% 准确率，优于 S2CNN 和 SphereNet 基线。
• ModelNet40 结果显示在峰值准确率方面具有竞争力，同时相比 PointNet++、VoxNet 和 S2CNN 基线具有更好的参数效率。
• 在 2D3DS 的全向图像分割表明球面分割在不同参数规模下均优于平面基线和基于点的三维方法。
• 使用全全局输入的气候模式分割（AR 和 TC）比使用随机裁剪的基线获得更高的平均准确率，体现了对全球数据的整体理解。
• 消融研究证实包含所有微分算子分量可以提供最佳准确性，随着添加算子增多，性能提升。