[论文解读] Scattering Networks on the Sphere for Scalable and Rotationally Equivariant Spherical CNNs

Jason D. McEwen, Christopher G. R. Wallis+1 more|arXiv (Cornell University)|Feb 4, 2021

Seismic Imaging and Inversion Techniques被引用 8

一句话总结

本文通过将基于小波的散射变换适配至球面，提出了一类可扩展的、旋转等变的高分辨率球面信号表示方法——球面散射网络。作为广义球面CNN的初始层集成后，该方法实现了高效、稳定且不变的特征提取，在360°图像和宇宙微波背景图等高分辨率数据上显著提升了性能。

ABSTRACT

Convolutional neural networks (CNNs) constructed natively on the sphere have been developed recently and shown to be highly effective for the analysis of spherical data. While an efficient framework has been formulated, spherical CNNs are nevertheless highly computationally demanding; typically they cannot scale beyond spherical signals of thousands of pixels. We develop scattering networks constructed natively on the sphere that provide a powerful representational space for spherical data. Spherical scattering networks are computationally scalable and exhibit rotational equivariance, while their representational space is invariant to isometries and provides efficient and stable signal representations. By integrating scattering networks as an additional type of layer in the generalized spherical CNN framework, we show how they can be leveraged to scale spherical CNNs to the high-resolution data typical of many practical applications, with spherical signals of many tens of megapixels and beyond.

研究动机与目标

• 解决现有旋转等变球面CNN在高分辨率（如数百万像素）下的计算不可行性问题。
• 构建一种对等距变换不变、对所有频率成分敏感且稳定的球面信号表示空间。
• 将一种可扩展的、非学习的层集成至广义球面CNN框架中，以支持高分辨率处理。
• 利用球面的调和结构设计高效且理论基础坚实的信号表示方法。
• 证明散射网络可作为有效初始层，实现球面CNN的扩展，同时保持旋转等变性。

提出的方法

• 基于欧氏空间散射网络的启发，利用尺度离散化的球面小波与绝对值非线性函数构建球面散射网络。
• 使用球谐变换及快速算法，高效计算球面上的小波变换。
• 通过级联小波变换并应用逐点绝对值操作，生成稳定且不变的系数。
• 将散射网络作为固定、非学习的初始层集成至广义球面CNN框架中。
• 利用球谐基保持旋转等变性，并利用球面的连续对称性。
• 评估时采用未优化的单线程实现，散射计算在训练前仅执行一次。

实验结果

研究问题

• RQ1 球面上的散射网络能否为高分辨率球面信号提供一种可扩展、旋转等变且稳定的表示？
• RQ2 球面散射网络作为混合球面CNN中初始层，在提升高分辨率数据性能方面效果如何？
• RQ3 球面散射网络在保持对高频内容敏感性的同时，对等距变换的不变性及对微分同胚的稳定性在多大程度上得以保持？
• RQ4 球面散射网络能否使球面CNN扩展至具有数百万像素的信号（如360°图像或CMB图）？
• RQ5 在下游任务中，引入散射网络对收敛速度和分类准确率有何影响？

主要发现

• 在 $ L = 256 $ 时，球面散射网络将MNIST分类准确率从无散射时的75.12%提升至挑战性NR/R（旋转测试）场景下的96.02%。
• 在 $ L = 1024 $ 时的CMB分类任务中，使用散射的模型达到95.3%准确率，而无散射模型仅为53.1%，表明其在弱非高斯信号上的有效性。
• 在 $ L = 1024 $ 时，散射网络评估耗时不足两分钟，表明尽管分辨率高仍具可行性，且仅需计算一次。
• 散射网络将高频内容混入低频系数中，使后续CNN层能有效捕捉细微特征。
• 在有无散射层的模型之间，未观察到训练收敛速度的显著差异。
• 散射网络提供的表示空间在指定尺度内对等距变换保持不变，对微分同胚保持稳定，与理论预期一致。