[论文解读] Wireless Sensing Data Collection and Processing for Metaverse Avatar Construction

Jiacheng Wang, Hongyang Du+4 more|arXiv (Cornell University)|Nov 23, 2022

Speech and Audio Processing被引用 8

一句话总结

本文提出了一种基于802.11ac的Nexmon平台采集的新型无线感知数据集，用于支持元宇宙虚拟化身构建，通过滑动窗口与相位补偿方法解决信道状态信息（CSI）中的相位偏移问题。主要贡献在于提供了一个开源数据集，其CSI稳定性得到增强，并经验证可提升人类行为与生物特征感知的准确性，从而优化虚拟化身建模。

ABSTRACT

Recent advances in emerging technologies such as artificial intelligence and extended reality have pushed the Metaverse, a virtual, shared space, into reality. In Metaverse, users can customize virtual avatars to experience a different life. While impressive, avatar construction requires a lot of data that manifest users in the physical world from various perspectives, and wireless sensing data is one of them. For example, machine learning (ML) and signal processing can help extract information about user behavior from sensing data, thereby facilitating avatar behavior construction in the Metaverse. This article presents a wireless sensing dataset to support the emerging research on Metaverse avatar construction. Rigorously, the existing data collection platforms and datasets are analyzed first. On this basis, we introduce the platform used in this paper, as well as the data collection method and scenario. We observe that the collected sensing data, i.e., channel state information (CSI), suffers from a phase shift problem, which negatively affects the extraction of user information such as behavior and heartbeat and further deteriorates the avatar construction. Therefore, we propose to detect and correct this phase shift by a sliding window and phase compensation, respectively, and then validate the proposed scheme with the collected data. Finally, several research directions related to the avatar construction are given from the perspective of datasets.

研究动机与目标

• 通过利用真实世界人类活动的无线感知数据，实现精准的元宇宙虚拟化身构建。
• 解决从802.11ac平台采集的CSI数据中存在的重要相位偏移问题，该问题会降低用户行为与生物特征估计的准确性。
• 提出一个公开可用的、高保真度的无线感知数据集，以提升信号稳定性，支持基于人工智能/机器学习的虚拟化身建模。
• 开发并验证一种基于滑动窗口分析与信号校正的相位偏移检测与补偿方法。
• 识别无线感知、可穿戴数据融合以及多模态数据融合在下一代元宇宙虚拟化身发展中的未来研究方向。

提出的方法

• 采用基于Nexmon的测试平台，利用4×4 MIMO与160 MHz带宽采集CSI数据，实现高分辨率无线感知。
• 实施滑动窗口技术，以检测CSI数据中多根天线之间的相位偏移。
• 提出一种相位补偿算法，用于校正检测到的相位偏移并稳定信号参数。
• 利用主动与被动感知场景的真实数据验证校正方法，测量其在到达角（AoA）与飞行时间（ToF）估计方面的性能提升。
• 分析相位偏移对关键信号参数（包括到达角（AoA）与飞行时间（ToF））的影响，评估不同置信度水平下的表现。
• 提供一个公开可访问的数据集，以支持元宇宙应用中无线感知研究的可复现性。

实验结果

研究问题

• RQ1 CSI数据中的相位偏移如何影响元宇宙虚拟化身构建中人类行为与生物特征参数估计的准确性？
• RQ2 基于滑动窗口的检测与相位补偿方法是否能有效校正802.11ac平台无线感知系统中的相位偏移？
• RQ3 相位校正能在多大程度上提升关键信号参数（如AoA与ToF）的估计准确性？
• RQ4 与现有平台相比，所提出的数据集在带宽、天线数量与数据保真度方面，对与虚拟化身相关的感知任务有何优势？
• RQ5 在元宇宙虚拟化身开发中，整合无线感知、可穿戴数据与多模态融合的关键未来研究方向是什么？

主要发现

• CSI数据中的相位偏移显著降低信号参数估计的准确性，在主动模式下，AoA估计误差最高增加1.5度，ToF误差最高增加2.1 ns。
• 在被动感知模式下，相位偏移使AoA与ToF估计误差分别增加1.1度与1.3 ns，且对ToF的影响更为显著。
• 所提出的相位补偿方法能有效降低估计误差，尤其在置信度水平高于0.5时，校正前后曲线差异显著。
• 使用Nexmon平台采集的数据集支持更高的带宽（160 MHz）与更多的天线（4×4 MIMO），优于大多数现有数据集，从而实现更精确的感知。
• 本研究证明，相位偏移校正可提升CSI在提取对虚拟化身构建至关重要的生物特征与行为数据方面的可靠性。
• 开源数据集为训练与验证元宇宙应用中无线感知的人工智能/机器学习模型提供了宝贵的基准。