[论文解读] Unsupervised Learning for Human Sensing Using Radio Signals

Tianhong Li, Lijie Fan+2 more|arXiv (Cornell University)|Jul 6, 2022

Indoor and Outdoor Localization Technologies被引用 4

一句话总结

本文提出轨迹引导的无监督学习（TGUL），一种新颖的框架，将预测性无监督学习适配于射频（RF）信号的人体感知，克服对比学习的局限性。通过利用基于雷达的人体检测和任务特定的数据增强，TGUL 从无标签的RF数据中学习高质量表征，在多种下游任务（如3D姿态估计和动作识别）中实现最先进性能。

ABSTRACT

There is a growing literature demonstrating the feasibility of using Radio Frequency (RF) signals to enable key computer vision tasks in the presence of occlusions and poor lighting. It leverages that RF signals traverse walls and occlusions to deliver through-wall pose estimation, action recognition, scene captioning, and human re-identification. However, unlike RGB datasets which can be labeled by human workers, labeling RF signals is a daunting task because such signals are not human interpretable. Yet, it is fairly easy to collect unlabelled RF signals. It would be highly beneficial to use such unlabeled RF data to learn useful representations in an unsupervised manner. Thus, in this paper, we explore the feasibility of adapting RGB-based unsupervised representation learning to RF signals. We show that while contrastive learning has emerged as the main technique for unsupervised representation learning from images and videos, such methods produce poor performance when applied to sensing humans using RF signals. In contrast, predictive unsupervised learning methods learn high-quality representations that can be used for multiple downstream RF-based sensing tasks. Our empirical results show that this approach outperforms state-of-the-art RF-based human sensing on various tasks, opening the possibility of unsupervised representation learning from this novel modality.

研究动机与目标

• 解决因隐私和可解释性限制而难以收集标签数据的RF数据稀缺问题。
• 克服标准基于RGB的无监督学习方法在RF信号上不适用的问题，因为RF信号具有稀疏性、背景噪声，且缺乏颜色或旋转不变性。
• 开发一种框架，通过基于雷达的轨迹检测引导表征学习，聚焦于与人体相关的信号成分。
• 证明预测性自监督学习（如图像修复）在RF信号上优于对比学习，后者往往利用距离设备远近等捷径信号。
• 有效利用大规模无标签RF数据集，提升下游人体感知性能，即使在标签数据极少的情况下亦可。

提出的方法

• 引入基于雷达的模块，从原始RF信号中检测人体轨迹，实现对人体相关信号成分的定位。
• 设计针对RF信号的数据增强方法，包括帧掩码策略（如随机截取5帧的片段），以保留时空结构。
• 采用预测性自监督学习目标——具体为在短RF序列中修复被掩码的帧——以学习有意义的表征。
• 利用检测到的人体轨迹引导数据增强和表征学习，减少背景反射的干扰。
• 在大规模无标签RF数据上预训练特征编码器，然后在小规模标签数据集上微调以适应下游任务。
• 将该框架应用于多个RF数据集（如RF-MMD）和任务，包括3D姿态估计、动作识别和重识别。

Figure 1: Illustration of RF signals and corresponding RGB images (for illustration ONLY ). The signal reflected off the person occupies a small region in the received RF signal. Further, there are many other reflections from other objects.

实验结果

研究问题

• RQ1 在RF信号具有独特挑战的背景下，预测性自监督学习方法能否有效适配于人体感知？
• RQ2 为何对比学习在RF信号上失效？与预测方法相比，它引入了哪些偏差？
• RQ3 在图像修复中，不同的掩码策略和片段大小如何影响基于RF的人体感知的表征质量？
• RQ4 在有限标签数据下，基于大规模无标签RF数据集的无监督预训练能在多大程度上提升下游任务性能？
• RQ5 轨迹引导的无监督学习能否聚焦于人体相关的信号成分，抑制背景噪声？

主要发现

• 预测性无监督学习，特别是采用随机5帧片段掩码的图像修复方法，在RF信号上优于对比学习，与从零开始训练相比，3D姿态估计误差降低5.3%。
• 图像修复的最佳掩码策略是随机截取5帧的片段，在RF-MMD数据集上实现36.2 mm的姿态误差，优于中心片段掩码和随机掩码策略。
• 对比学习生成的表征质量差，特征图显示其丢弃了大部分与人体相关的信息，而预测性学习则保留了关键的人体特征。
• 在完整RF-MMD数据集（无标签）上进行预训练，并在10%标签子集（RF-MMD-S）上微调，可将姿态误差从48.7 mm（随机训练）降低至43.2 mm，表明无标签数据带来6.0%的性能提升。
• 即使标签数据极少，该框架也能提升泛化能力和下游性能，表明大规模无标签RF数据的无监督预训练极为有效。
• 基于雷达的轨迹检测使模型能够聚焦于人体相关的信号成分，减轻背景反射的干扰，从而提升表征质量。

Figure 2: Illustration of RF signals as a pair of horizontal and vertical heatmaps after subtracting static objects, and an RGB image recorded at the same time. Red color refers to high signal power, blue refers to low power.