[论文解读] Semantic Sensing and Communications for Ultimate Extended Reality

Bowen Zhang, Zhijin Qin+2 more|arXiv (Cornell University)|Dec 16, 2022

Augmented Reality Applications被引用 14

一句话总结

本文提出了一种联合语义感知感知、渲染与通信框架，通过仅传输与任务相关的语义信息，实现超低延迟、高数据速率的无线扩展现实（XR）应用。通过利用语义感知压缩与分布式处理，该框架减少了数据流量，加速了渲染过程，并提升了传输效率，在延迟和带宽节省方面显著优于传统方法。

ABSTRACT

As a key technology in metaversa, wireless ultimate extended reality (XR) has attracted extensive attentions from both industry and academia. However, the stringent latency and ultra-high data rates requirements have hindered the development of wireless ultimate XR. Instead of transmitting the original source data bit-by-bit, semantic communications focus on the successful delivery of semantic information contained in the source, which have shown great potentials in reducing the data traffic of wireless systems. Inspired by semantic communications, this article develops a joint semantic sensing, rendering, and communication framework for wireless ultimate XR. In particular, semantic sensing is used to improve the sensing efficiency by exploring the spatial-temporal distributions of semantic information. Semantic rendering is designed to reduce the costs on semantically-redundant pixels. Next, semantic communications are adopted for high data transmission efficiency in wireless ultimate XR. Then, two case studies are provided to demonstrate the effectiveness of the proposed framework. Finally, potential research directions are identified to boost the development of semantic-aware wireless ultimate XR.

研究动机与目标

• 解决无线终极XR系统中超低延迟（<10 ms）和超高速率（>10 Gbps）的关键挑战。
• 通过将语义处理卸载至远程服务器，降低XR头戴设备（HMDs）上的计算与能耗成本。
• 通过聚焦于与任务相关的语义内容而非原始感官数据，最小化无线XR中的数据传输开销。
• 通过语义广播与本地视图合成，实现VR/AR应用中可扩展的多用户支持。
• 构建一个整合语义感知感知、渲染与通信的端到端高效框架，用于无线XR

提出的方法

• 引入语义感知感知，利用语义内容的时空分布特性，通过聚焦于相关特征提升感知效率。
• 设计语义渲染，消除语义冗余像素，降低服务器端的渲染工作量与数据量。
• 采用深度神经网络（如5层全连接网络）实现语义通信，将语义特征映射为调制符号以实现高效传输。
• 使用SMPL人体网格重建模型，以紧凑的语义形式生成并传输人体姿态与形状。
• 应用3D感知生成模型进行视图合成，使用户能够基于单一广播的语义表示本地重建个性化视图。
• 采用模型分区的联邦学习，高效训练视图合成模型，同时保护隐私并降低客户端计算量。

实验结果

研究问题

• RQ1 语义感知感知在高分辨率传感器的无线XR系统中，如何提升数据采集效率？
• RQ2 语义渲染在高保真XR应用中，能在多大程度上减少冗余像素处理并加速渲染？
• RQ3 语义通信是否能显著降低无线XR中的传输数据速率，同时保持感知质量？
• RQ4 在多用户VR/AR场景中，单一语义广播如何支持具有不同视角的多个用户？
• RQ5 在部署语义感知XR流水线时，系统层面在性能、延迟与计算成本之间存在何种权衡？

主要发现

• 语义通信系统在人体网格重建任务中优于传统传输方法，在SNR从-20 dB到30 dB的全范围内均表现出更低的平均关节位置误差（MPJPE）。
• 所提出的语义框架通过聚焦于与任务相关的语义内容，显著减少了数据传输量，实现了通过单视图广播高效支持多用户VR内容分发。
• 采用模型分区的联邦学习可高效实现3D感知视图合成模型的训练，保护隐私并降低单个客户端的计算负载。
• 基于深度强化学习的语义感知资源分配可优化异构数据需求下多用户XR环境中的系统整体资源利用率。
• 模型蒸馏与元学习为在HMD设备上平衡语义模型精度与本地计算成本提供了可行路径。
• 该框架在延迟与带宽效率方面取得显著提升，使在当前无线容量限制下实现无线终极XR更加可行。