[论文解读] Surreal: Complex-Valued Deep Learning as Principled Transformations on a Rotational Lie Group.

Rudrasis Chakraborty, Yifei Xing+1 more|arXiv (Cornell University)|Oct 18, 2019

Image Retrieval and Classification Techniques被引用 5

一句话总结

本文提出Surreal，一种用于复数数据的几何深度学习框架，通过将复数建模为旋转李群上的变换，利用加权弗雷chet均值实现等变卷积，并通过不变距离变换实现不变性。该方法在MSTAR和RadioML数据集上实现了最先进性能，且模型参数量显著少于实数或复数基线模型。

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Frechet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU andG-transport, as well as residual connections on the manifold-valued data. We dub our modelSurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

研究动机与目标

• 解决尽管复数深度学习在信号与图像处理中具有理论优势，但其发展仍显不足的问题。
• 克服将复数视为独立实部与虚部通道所带来的局限，通过建模其内在几何结构。
• 构建一个系统性框架，通过流形几何将实数域深度学习操作原则性地扩展至复数域。
• 通过群等变与不变操作，实现复数数据的高效、参数高效的模型。
• 在MSTAR与RadioML等真实世界数据集上，展示更优性能与更小模型规模。

提出的方法

• 将非零复数空间建模为非零缩放与平面旋转的乘积流形，构成旋转李群。
• 将卷积定义为复流形上的加权弗雷chet均值，确保对缩放与旋转群作用的等变性。
• 在流形上引入对缩放/旋转群作用不变的距离变换。
• 设计流形值非线性激活函数，包括切线ReLU与G-传输，以保持几何一致性。
• 设计适用于流形值数据的残差连接，以稳定训练并提升表达能力。
• 构建统一框架，通过将实数操作的性质而非形式扩展至复数域，实现对实数操作的泛化。

实验结果

研究问题

• RQ1 如何利用微分几何形式化复数深度学习，以保持数据的内在结构？
• RQ2 在复数缩放与旋转下，哪些操作具有不变性或等变性？如何在深度学习框架中实现？
• RQ3 在复流形上使用几何操作，是否能相比标准实数或复数网络，实现更高效、更准确的模型？
• RQ4 基于流形的激活函数与残差连接如何提升复数信号处理任务的性能？
• RQ5 几何原则在多大程度上可减少模型规模，同时保持或提升复数基准测试的准确率？

主要发现

• Surreal在MSTAR雷达图像分类基准上实现了最先进性能，且参数量仅为实数或复数基线模型的一小部分。
• 该模型在RadioML数据集上表现出高精度，优于实数与复数基线模型，且模型规模显著减小。
• 几何框架通过群等变卷积利用复数数据的底层对称性，实现参数高效的模型学习。
• 基于流形的激活函数（如切线ReLU与G-传输）保持了几何一致性，并提升了训练稳定性。
• 复流形上的距离变换对缩放与旋转保持不变，支持在任意复数变换下实现鲁棒的特征表示。
• 适配流形设置的残差连接改善了优化与泛化能力，显著提升了模型性能，且参数量极低。