[论文解读] Theory and Implementation of Complex-Valued Neural Networks

José Agustín Barrachina, Chengfang Ren+3 more|arXiv (Cornell University)|Feb 16, 2023

Neural Networks and Applications被引用 12

一句话总结

本论文介绍理论、数学基础（Wirtinger calculus、complex backpropagation），以及一个 Python CVNN toolbox 实现，包括复杂层和激活函数，并通过 Hilbert Transform 将真实数据投射到复数域的实验。

ABSTRACT

This work explains in detail the theory behind Complex-Valued Neural Network (CVNN), including Wirtinger calculus, complex backpropagation, and basic modules such as complex layers, complex activation functions, or complex weight initialization. We also show the impact of not adapting the weight initialization correctly to the complex domain. This work presents a strong focus on the implementation of such modules on Python using cvnn toolbox. We also perform simulations on real-valued data, casting to the complex domain by means of the Hilbert Transform, and verifying the potential interest of CVNN even for non-complex data.

研究动机与目标

• 解释 CVNN 的理论以及 Wirtinger calculus 在训练非全纯函数中的作用。
• 详细说明 CVNN 的复值层、激活函数及权重初始化的实现。
• 展示使用 cvnn 工具箱在 Python 中进行实际的 CVNN 开发，并与实值基线进行对比。
• 研究在复数域权重初始化的适当性对 CVNN 的影响，并通过 Hilbert Transform 投射将非复数数据应用于 CVNN。

提出的方法

• 介绍 CVNN 的数学背景，包括 Liouville 定理和 Wirtinger calculus。
• 描述用于带复参数的实值损失的复值反向传播框架及所使用的梯度定义。
• 在基于 TensorFlow 的 CVNN 工具箱中介绍复值层、激活、池化和上采样。
• 解释训练过程中的初始化、数据类型，以及对实值损失和复参数的处理。
• 报告工具与测试实践（pytest），以确保与 RVNN 的质量与兼容性。
• 讨论使用 Hilbert Transform 将真实数据投射到复数域以进行 CVNN 实验。

实验结果

研究问题

• RQ1 如何利用 Wirtinger calculus 在具有实值损失函数的情况下训练 CVNN？
• RQ2 在 CVNN 中实现复值层、激活和池化时需要考虑哪些实际因素和实现？
• RQ3 在梯度计算和层更新方面，复值反向传播与实值反向传播有何不同？
• RQ4 当实值数据通过 Hilbert Transform 投射到复数域时，CVNN 是否能提供收益？
• RQ5 复数域权重初始化对 CVNN 性能的影响是什么？

主要发现

• 基于 Wirtinger calculus 的 CVNN 理论框架使基于梯度的训练能够使用实值损失。
• 实现了一个基于 TensorFlow 的 CVNN 工具箱（CVNN），包含复值层、激活和池化，并与 RVNN 进行对比测试以辅助调试。
• 该工作强调了将权重初始化适配到复数域以实现正确训练的必要性。
• 实验表明在通过 Hilbert Transform 将实值数据投射到复数域时，CVNN 具有可行性。
• 该工具箱通过模仿 TensorFlow 的 API 并提供基于 PyTest 的测试来提高易用性和可靠性。