[论文解读] SurReal: Complex-Valued Learning as Principled Transformations on a Scaling and Rotation Manifold

Rudrasis Chakraborty, Yifei Xing+1 more|arXiv (Cornell University)|Oct 18, 2019

Cognitive Science and Education Research参考文献 47被引用 4

一句话总结

本文提出 SurReal，一种用于复数数据的几何深度学习框架，将复数建模为缩放与旋转的黎曼流形，实现等变卷积与不变距离变换。该方法在 MSTAR 和 RadioML 数据集上达到最先进性能，模型参数量仅为实值基线的 0.7%，复值基线的 58%。

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Fréchet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU and G-transport, as well as residual connections on the manifold-valued data. We dub our model SurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

研究动机与目标

• 为解决实值深度学习在处理复数数据时的局限性，复数数据常因任意复数缩放导致实部与虚部共同变化。
• 构建一个基于几何原理的框架，将复数视为缩放与旋转构成的非欧几里得流形上的点，而非独立的实部/虚部通道。
• 将复数缩放不变性直接嵌入网络架构中，避免数据增强，提升泛化能力。
• 设计新型层函数，如加权弗雷歇均值卷积、距离变换与流形值激活函数，以适配复数流形的几何结构。

提出的方法

• 将复数空间建模为非零缩放（R>0）与平面旋转（S¹）的乘积流形，形成李群作用。
• 在该流形上定义卷积为加权弗雷歇均值，确保对复数缩放与旋转的等变性。
• 引入距离变换层，计算特征图与其弗雷歇均值之间的流形距离，实现对群作用的不变性。
• 提出切空间 ReLU 与 G-传输作为定义在流形上的非线性激活函数，保留几何结构。
• 利用指数映射与对数映射在流形上构建残差连接，支持深层网络架构。
• 将所得的 SurReal 模型用于 MSTAR 与 RadioML 中的复数数据分类，距离变换后使用实值层进行处理。

实验结果

研究问题

• RQ1 如何在不依赖数据增强的前提下，使复数深度学习对任意复数缩放保持不变？
• RQ2 复数数据背后存在何种几何结构，可被用于实现更高效且原理严谨的学习？
• RQ3 能否在复数的黎曼流形上重新定义卷积与激活函数，以实现等变性与不变性？
• RQ4 与标准实值或复值基线相比，基于流形的操作在准确率与模型效率方面表现如何？
• RQ5 基于几何原理构建的深度学习模型能否在显著减少参数量的前提下实现高性能？

主要发现

• 在 SNR = 10 的 RadioML 数据集上，SurReal 达到 76.1% 的测试准确率，优于实值基线（72.7%），且模型参数量仅为后者的 0.7%。
• 在相同 SNR 条件下，SurReal 与复值基线（76.3%）性能相当，但参数量仅为其 58%。
• 该模型展现出对复数缩放的内置不变性，无需数据增强，显著缩短训练时间。
• 在 MSTAR SAR 数据集上，SurReal 以远小于实值与复值基线的模型规模，实现了高性能。
• 基于流形的卷积与距离变换使表示学习更加高效，能有效捕捉幅度与相位信息。
• 该框架支持设计几何一致的非线性函数，如切空间 ReLU 与 G-运输，这些在标准欧氏空间中无法实现。