[论文解读] SenseFi: A Library and Benchmark on Deep-Learning-Empowered WiFi Human Sensing

Jianfei Yang, Xinyan Chen+5 more|arXiv (Cornell University)|Jul 16, 2022

Indoor and Outdoor Localization Technologies被引用 6

一句话总结

SenseFi 引入了首个针对 WiFi 人体感知中深度学习的全面开源基准和库，对多种平台、任务和度量标准下的多样化模型进行了评估。它实现了在准确性、效率、可迁移性和鲁棒性方面对深度学习架构的公平比较，为普适计算应用中的实际部署提供了实用洞见。

ABSTRACT

WiFi sensing has been evolving rapidly in recent years. Empowered by propagation models and deep learning methods, many challenging applications are realized such as WiFi-based human activity recognition and gesture recognition. However, in contrast to deep learning for visual recognition and natural language processing, no sufficiently comprehensive public benchmark exists. In this paper, we review the recent progress on deep learning enabled WiFi sensing, and then propose a benchmark, SenseFi, to study the effectiveness of various deep learning models for WiFi sensing. These advanced models are compared in terms of distinct sensing tasks, WiFi platforms, recognition accuracy, model size, computational complexity, feature transferability, and adaptability of unsupervised learning. It is also regarded as a tutorial for deep learning based WiFi sensing, starting from CSI hardware platform to sensing algorithms. The extensive experiments provide us with experiences in deep model design, learning strategy skills and training techniques for real-world applications. To the best of our knowledge, this is the first benchmark with an open-source library for deep learning in WiFi sensing research. The benchmark codes are available at https://github.com/xyanchen/WiFi-CSI-Sensing-Benchmark.

研究动机与目标

• 为解决现有 WiFi CSI 基于人体感知中深度学习缺乏标准化、全面基准的问题。
• 以公平且系统化的方式，评估不同 WiFi 平台、感知任务和数据模态下各种深度学习模型的性能。
• 为实际 WiFi 感知应用中的模型设计、超参数调优和训练策略提供实用指导。
• 通过发布一个包含预实现模型和评估协议的开源库，促进可复现性并加速研究进展。
• 探索在迁移学习和无监督学习设置下，模型准确性、模型大小、计算复杂度和适应性之间的权衡。

提出的方法

• 设计并实现一个统一的基准框架，支持多种 WiFi 感知任务，包括活动识别、手势识别和人员识别。
• 在来自不同硬件平台的真实 CSI 数据上，集成并评估多样化的深度学习模型，如 MLP、CNN、RNN、Transformer 及混合架构。
• 标准化数据预处理流程，包括 CSI 相位和幅度归一化、分窗处理和特征提取，以确保实验间的一致性。
• 开展广泛的消融研究，比较不同数据集、硬件平台和学习范式（监督学习、迁移学习、无监督学习）下模型的性能表现。
• 应用模型压缩技术（如剪枝、量化和知识蒸馏），以评估效率与准确性的权衡。
• 整合多模态和跨模态学习策略，包括与视觉数据的融合以及跨模态生成（如 Wi2Vi），以增强模型的鲁棒性和可解释性。

实验结果

研究问题

• RQ1 不同深度学习架构在多种 WiFi 感知任务和硬件平台上，其准确性、模型大小和推理速度表现如何？
• RQ2 模型设计与数据采集平台对整体性能的相对贡献分别是什么？
• RQ3 迁移学习和无监督预训练策略在降低数据依赖性和提升跨环境泛化能力方面有多有效？
• RQ4 在真实 WiFi 感知部署中，模型准确性、计算复杂度和鲁棒性之间的关键权衡是什么？
• RQ5 通过 CSI 到视频的跨模态学习（如 Wi2Vi）在多大程度上能提升设备无关人体感知模型的可解释性和性能？

主要发现

• 基准测试揭示，不同 WiFi 硬件平台上的模型性能存在显著差异，表明平台特定校准对可靠部署至关重要。
• Transformer 及混合 CNN-Transformer 模型在复杂任务（如活动识别）中达到最先进性能，优于传统的 RNN 和 MLP 模型。
• 迁移学习显著提升了低数据场景下的性能，减少了在新环境中对大规模标注数据集的依赖。
• 无监督预训练提升了跨域泛化能力，展示了在动态环境中实现零样本或少样本适应的潜力。
• 模型压缩技术（如量化和知识蒸馏）可将模型大小减少高达 70%，且准确率损失极小，使边缘设备上的实时部署成为可能。
• 通过 Wi2Vi 实现的跨模态学习可从 CSI 数据生成类似视频的表示，为构建可解释、可说明的 WiFi 感知模型提供了可行路径。