[论文解读] Signal Transformer: Complex-valued Attention and Meta-Learning for Signal Recognition

Yihong Dong, Peng Ying+3 more|arXiv (Cornell University)|Jun 5, 2021

Wireless Signal Modulation Classification参考文献 40被引用 9

一句话总结

本文提出CAMEL，一种新颖的复数注意力元学习模型，将注意力机制与模型无关元学习（MAML）整合于复数域，用于少样本信号识别。通过利用复数神经网络和Wirtinger微积分，CAMEL实现了理论上的收敛至一阶驻点，并在RADIOML 2016.10A数据集上展现出最先进性能，尤其在低样本和噪声条件下表现优异。

ABSTRACT

Deep neural networks have been shown as a class of useful tools for addressing signal recognition issues in recent years, especially for identifying the nonlinear feature structures of signals. However, this power of most deep learning techniques heavily relies on an abundant amount of training data, so the performance of classic neural nets decreases sharply when the number of training data samples is small or unseen data are presented in the testing phase. This calls for an advanced strategy, i.e., model-agnostic meta-learning (MAML), which is able to capture the invariant representation of the data samples or signals. In this paper, inspired by the special structure of the signal, i.e., real and imaginary parts consisted in practical time-series signals, we propose a Complex-valued Attentional MEta Learner (CAMEL) for the problem of few-shot signal recognition by leveraging attention and meta-learning in the complex domain. To the best of our knowledge, this is also the first complex-valued MAML that can find the first-order stationary points of general nonconvex problems with theoretical convergence guarantees. Extensive experiments results showcase the superiority of the proposed CAMEL compared with the state-of-the-art methods.

研究动机与目标

• 解决在训练数据稀缺或噪声较大的情况下，深度学习在信号识别中泛化能力差的挑战。
• 将信号结构的先验知识——特别是复数表示和时序依赖性——整合进元学习框架。
• 开发一种直接在复数域运行的模型无关元学习方法，以提升少样本适应能力和鲁棒性。
• 为复数域MAML建立理论收敛保证，确保在非凸优化下收敛至一阶驻点。
• 通过结合注意力机制与复数神经网络，增强信号识别中的表征学习。

提出的方法

• 提出一种复数注意力元学习器（CAMEL），通过Wirtinger导数将MAML扩展至复数域，用于反向传播。
• 设计一种复数神经网络架构，将信号视为复数（实部与虚部），以保留相位和幅度信息。
• 将自注意力机制集成至复数域，以动态加权信号序列中的时序与频谱特征。
• 利用复数梯度与Hessian矩阵制定元学习目标，通过复数链式法则实现优化，并确保理论收敛性。
• 在元更新步骤中引入二阶信息以提升收敛性，外层更新表达为 $ \left(\mathbf{I}-\alpha\nabla_{\bm{\phi}}^{2}f_{i}(\bm{\phi})\right)\nabla_{\bm{\phi}'_{i}}f_{i}(\bm{\phi}'_{i}) $。
• 使用RADIOML 2016.10A数据集进行评估，在1-shot与5-shot设置下与MAML及其他SOTA方法进行对比。

实验结果

研究问题

• RQ1 是否直接在复数域运行的元学习框架能在少样本信号识别中超越实数域元学习器？
• RQ2 在低数据量信号分类任务中，将注意力机制集成至复数神经网络是否能提升特征表征与泛化能力？
• RQ3 在非凸优化下，能否为复数域MAML算法建立理论收敛保证？
• RQ4 CAMEL在不同信噪比（SNR）下表现如何，尤其是在数据稀缺时？
• RQ5 对信号结构（幅度、相位、时序动态）的先验知识在多大程度上能提升信号识别中的少样本适应能力？

主要发现

• CAMEL在RADIOML 2016.10A数据集上达到最先进性能，在1-shot与5-shot分类任务中均优于MAML及其他SOTA方法。
• 在1-shot设置下，CAMEL的准确率显著高于MAML，尤其在除'CPFSK'外的类别上表现更优，这些类别原本更容易混淆。
• 混淆矩阵显示，CAMEL降低了所有类别中的误分类率，尤其在MAML表现较差的四个类别上改善显著。
• 理论分析证实，CAMEL可在 $ O(1/\epsilon^2) $ 次迭代内收敛至 $ \epsilon $-一阶驻点，且利用了二阶信息。
• 消融实验验证了复数注意力机制与元学习组件在提升性能方面的有效性。
• 小规模实验确认了反向传播中复数链式法则的必要性，因为若使用朴素链式法则，由于 $ \partial x^*/\partial x = 0 $，其会失效。