[论文解读] Wisture: RNN-based Learning of Wireless Signals for Gesture Recognition in Unmodified Smartphones

Mohamed Abudulaziz Ali Haseeb, Ramviyas Parasuraman|arXiv (Cornell University)|Jul 26, 2017

Indoor and Outdoor Localization TechnologiesEngineering参考文献 20被引用 19

一句话总结

Wisture 提出了一种基于 LSTM 的 RNN 模型，仅使用标准 Wi-Fi RSSI 测量值，无需硬件或操作系统修改，即可在非改装智能手机上实现非接触手势识别，通过人为引入的数据流量提升信号分辨率。该方法在不修改硬件或操作系统的情况下，实现了高达 94% 的准确率，用于分类三种动态手势，证明了其在真实智能手机环境中部署的可行性。

ABSTRACT

This paper introduces Wisture, a new online machine learning solution for recognizing touch-less dynamic hand gestures on a smartphone. Wisture relies on the standard Wi-Fi Received Signal Strength (RSS) using a Long Short-Term Memory (LSTM) Recurrent Neural Network (RNN), thresholding filters and traffic induction. Unlike other Wi-Fi based gesture recognition methods, the proposed method does not require a modification of the smartphone hardware or the operating system, and performs the gesture recognition without interfering with the normal operation of other smartphone applications. We discuss the characteristics of Wisture, and conduct extensive experiments to compare its performance against state-of-the-art machine learning solutions in terms of both accuracy and time efficiency. The experiments include a set of different scenarios in terms of both spatial setup and traffic between the smartphone and Wi-Fi access points (AP). The results show that Wisture achieves an online recognition accuracy of up to 94% (average 78%) in detecting and classifying three hand gestures.

研究动机与目标

• 开发一种无需硬件或操作系统修改的机器学习解决方案，用于在标准智能手机上实现非接触手势识别。
• 仅使用现成设备的 Wi-Fi 接收信号强度（RSS）测量值，实现实时手势分类。
• 克服现有方法依赖 root 权限、定制固件或专用硬件（如支持 CSI 的 Wi-Fi 芯片）的局限性。
• 在多种空间布局和网络流量条件下验证该方法，以确保其鲁棒性和泛化能力。
• 公开发布数据集和源代码，以支持可复现性，并为基于 Wi-Fi 的手势识别研究提供未来基准。

提出的方法

• 利用长短期记忆（LSTM）循环神经网络（RNN）对 Wi-Fi RSSI 信号中的时间模式进行建模，以实现手势分类。
• 在智能手机与 Wi-Fi 接入点之间人为诱导数据流量，以提高信号采样频率并改善分辨率。
• 应用阈值滤波和信号处理技术，从原始 RSSI 轨迹中提取有意义的特征。
• 设计一个实时推理流水线，直接在智能手机上运行，且不干扰正常的 Wi-Fi 操作。
• 在不同空间和流量条件下收集的带标签 RSSI 序列上训练 LSTM 模型，以实现跨场景的泛化。
• 采用基于窗口的方法，将连续的 RSSI 流分割为与特定手势对应的时间区间以进行分类。

实验结果

研究问题

• RQ1 仅依靠 Wi-Fi RSSI 信号（无需 CSI 或硬件修改），能否在标准智能手机上实现准确且实时的非接触手势识别？
• RQ2 人为诱导的数据流量在提升标准 RSSI 信号的时间分辨率和手势识别性能方面有何作用？
• RQ3 LSTM 基于模型在不同空间布局和变化的网络流量条件下表现如何？
• RQ4 该系统在未重新训练的情况下，能否泛化到新手势或不同智能手机型号？
• RQ5 能否设计一种低功耗前导手势模式，以减少空闲期间的误报率和电池消耗？

主要发现

• Wisture 在多个场景中实现了平均 78% 的在线识别准确率，特定数据集上的峰值准确率达到 94%。
• 即使在与训练数据不同的配置下测试，系统仍保持高性能，表现出强大的泛化能力。
• Push 和 Pull 手势在无流量诱导的情况下也能实现 97% 的识别准确率，表明其适合作为低功耗前导手势。
• 将训练数据集规模缩减至原始大小的 10%（每种手势 100+ 个样本）后，准确率仅从 94% 略降至 83%，表明具有数据高效学习的潜力。
• 该方法完全运行在未经修改的智能手机上，无需 root 权限、固件更改或停用其他 Wi-Fi 应用程序。
• 公开发布包含 1000+ 个带标签手势的数据集和源代码，为基于 Wi-Fi 的手势识别研究提供可复现性与未来基准支持。