[论文解读] Unsupervised Domain Adaptation for RF-based Gesture Recognition

Bin-Bin Zhang, Dongheng Zhang+3 more|arXiv (Cornell University)|Nov 20, 2021

Indoor and Outdoor Localization Technologies参考文献 63被引用 7

一句话总结

本文提出了一种用于基于RF的非接触手势识别的无监督域自适应框架，通过伪标签、一致性正则化、基于随机特征擦除的数据增强以及置信度控制来提升跨域泛化能力。该方法在Wi-Fi和毫米波雷达数据集上均取得了最先进性能，有效利用了未标注的目标域数据，而无需目标域的标注样本。

ABSTRACT

Human gesture recognition with Radio Frequency (RF) signals has attained acclaim due to the omnipresence, privacy protection, and broad coverage nature of RF signals. These gesture recognition systems rely on neural networks trained with a large number of labeled data. However, the recognition model trained with data under certain conditions would suffer from significant performance degradation when applied in practical deployment, which limits the application of gesture recognition systems. In this paper, we propose an unsupervised domain adaptation framework for RF-based gesture recognition aiming to enhance the performance of the recognition model in new conditions by making effective use of the unlabeled data from new conditions. We first propose pseudo-labeling and consistency regularization to utilize unlabeled data for model training and eliminate the feature discrepancies in different domains. Then we propose a confidence constraint loss to enhance the effectiveness of pseudo-labeling, and design two corresponding data augmentation methods based on the characteristic of the RF signals to strengthen the performance of the consistency regularization, which can make the framework more effective and robust. Furthermore, we propose a cross-match loss to integrate the pseudo-labeling and consistency regularization, which makes the whole framework simple yet effective. Extensive experiments demonstrate that the proposed framework could achieve 4.35% and 2.25% accuracy improvement comparing with the state-of-the-art methods on public WiFi dataset and millimeter wave (mmWave) radar dataset, respectively.

研究动机与目标

• 解决RF基手势识别模型在不同域之间部署时因域偏移导致的性能下降问题。
• 在不依赖目标域标注数据的情况下，提升跨域泛化能力。
• 开发一种高效、端到端的无监督域自适应框架，以有效利用未标注的目标域数据。
• 通过置信度控制约束缓解模型预测中的过度自信问题。

提出的方法

• 利用教师模型对未标注的目标域样本生成高置信度伪标签。
• 通过强制同一输入数据的原始视图与增强视图之间的一致性，实现一致性正则化。
• 引入两种基于随机特征擦除的数据增强技术，以提升模型鲁棒性并改善特征学习。
• 使用置信度控制约束抑制过度自信的预测，提升模型校准能力和泛化性能。
• 在联合训练方案中结合伪标签和一致性正则化，以提升特征对齐和分类准确率。
• 采用双流训练策略，使教师模型对未标注目标域数据的预测指导学生模型。

实验结果

研究问题

• RQ1 无监督域自适应技术是否能在不使用目标域标注数据的情况下，提升基于RF信号的手势识别模型的跨域性能？
• RQ2 伪标签与一致性正则化结合在基于RF信号的手势识别中，对域间特征对齐的有效性如何？
• RQ3 基于随机特征擦除的数据增强策略对RF信号域自适应中模型鲁棒性与泛化能力的影响如何？
• RQ4 置信度控制如何缓解过度自信问题，并在低资源域自适应设置中提升模型性能？
• RQ5 在Wi-Fi和毫米波数据集上，阈值和约束权重等超参数的最优配置是什么，以实现最佳性能？

主要发现

• 所提框架在Wi-Fi数据集上达到91.98%的平均准确率，在毫米波雷达数据集上达到95.65%，优于基线模型。
• 置信度控制约束显著提升了模型性能，最佳结果分别在Wi-Fi权重为0.92、毫米波雷达权重为0.95时取得。
• 通过随机特征擦除进行数据增强，使Wi-Fi数据集上的准确率提升1.25个百分点，毫米波雷达数据集上提升2.99个百分点。
• 伪标签的最优阈值为Wi-Fi的0.92和毫米波雷达的0.95，实现了标签质量与数量的平衡。
• 消融实验表明，所有组件——伪标签、一致性正则化、数据增强和置信度控制——对达到最佳性能均不可或缺。
• 完整模型即使在基础模型无法收敛的情况下也能稳定收敛并取得高准确率，证明了所提组件的有效性。