[论文解读] Wireless Semantic Communications for Video Conferencing

Peiwen Jiang, Chao-Kai Wen+2 more|arXiv (Cornell University)|Apr 16, 2022

IoT and Edge/Fog Computing被引用 4

一句话总结

本文提出一种语义视频会议系统（SVC），通过传输面部关键点而非完整视频帧来降低带宽使用，同时保持高分辨率。通过将增量冗余HARQ框架与利用视频流畅性和身份一致性的语义错误检测器相结合，该系统在不同信道条件下均表现出鲁棒性能，CSI反馈进一步优化比特分配与效率。

ABSTRACT

Video conferencing has become a popular mode of meeting even if it consumes considerable communication resources. Conventional video compression causes resolution reduction under limited bandwidth. Semantic video conferencing maintains high resolution by transmitting some keypoints to represent motions because the background is almost static, and the speakers do not change often. However, the study on the impact of the transmission errors on keypoints is limited. In this paper, we initially establish a basal semantic video conferencing (SVC) network, which dramatically reduces transmission resources while only losing detailed expressions. The transmission errors in SVC only lead to a changed expression, whereas those in the conventional methods destroy pixels directly. However, the conventional error detector, such as the cyclic redundancy check, cannot reflect the degree of expression changes. To overcome this issue, we develop an incremental redundancy hybrid automatic repeat-request (IR-HARQ) framework for the varying channels (SVC-HARQ) incorporating a novel semantic error detector. The SVC-HARQ has flexibility in bit consumption and achieves good performance. In addition, SVC-CSI is designed for channel state information (CSI) feedback to allocate the keypoint transmission and enhance the performance dramatically. Simulation shows that the proposed wireless semantic communication system can significantly improve the transmission efficiency.This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

研究动机与目标

• 解决传统视频会议在移动网络上高带宽消耗的问题。
• 克服现有语义视频系统忽略物理层错误对关键点传输影响的局限性。
• 设计一种鲁棒的传输框架，即使在信道引起的关节点错误下也能保持视觉质量。
• 引入一种语义感知的错误检测机制，反映感知影响而非比特级错误。
• 通过CSI反馈与增量冗余HARQ提升系统适应性与效率。

提出的方法

• 建立一个三级语义视频会议（SVC）框架，仅传输面部关键点以表示运动，实现在最小数据量下输出高分辨率视频。
• 开发一种增量冗余混合自动重传请求（IR-HARQ）框架（SVC-HARQ），通过ACK反馈在检测到错误时重传增量冗余。
• 设计一种新型语义错误检测器，通过评估帧的流畅性与身份一致性来判断是否需要重传，替代传统的CRC检测。
• 引入SVC-CSI，一种CSI反馈机制，将更多比特分配给信噪比（SNR）更高的子信道，以优化比特消耗与性能。
• 使用深度学习端到端训练系统，联合优化关键点提取、调制与在不同信道条件下的抗错能力。
• 结合身份分类与时间流畅性度量，检测由关键点错误引起的语义退化。

实验结果

研究问题

• RQ1 基于关键点的视频会议中，语义错误传播与传统像素级错误传播有何不同？
• RQ2 基于视频流畅性与身份一致性的语义感知错误检测器，是否能优于HARQ系统中的传统比特错误检测？
• RQ3 在瑞利衰落信道下，CSI反馈在语义视频会议中在多大程度上改善比特分配与系统性能？
• RQ4 与传统HARQ相比，所提出的SVC-HARQ框架在信道条件不匹配时如何保持性能？
• RQ5 在语义视频传输中，结合CSI反馈与HARQ时，性能、比特消耗与鲁棒性之间的权衡如何？

主要发现

• 所提出的SVC系统通过仅传输面部关键点，实现了显著的压缩比，在仅损失细微面部表情的情况下保持了高分辨率输出。
• SVC中的传输错误主要改变关键点位置，导致不自然的面部表情，但由于语义鲁棒性，这些错误在感知上通常可接受。
• 语义错误检测器能有效识别流畅性降低与身份不一致的帧，实现针对性重传，显著提升感知质量。
• SVC-HARQ在不同比特错误率（BER）下均优于传统HARQ，BER=0时Ploss值为0.186，BER=0.10时为0.207，表现出强鲁棒性。
• SVC-CSI采用基于SNR的比特分配，在低SNR环境下显著优于非CSI方案，且通过动态调整子信道发射功率优化性能。
• SVC-CSI-HARQ在信道不匹配条件下仍能保持或提升性能，在BER介于0.02至0.10之间时优于标准SVC-HARQ，在动态环境中展现出更优鲁棒性。