[论文解读] Semantic Communications System with Model Division Multiple Access and Controllable Coding Rate for Point Cloud

Xiaoyi Liu, Haotai Liang+3 more|arXiv (Cornell University)|Jul 12, 2023

AI in cancer detectionComputer Science被引用 3

一句话总结

本文提出了一种点云语义通信系统（PCSC），利用深度神经网络进行语义特征提取，并采用联合源信道编码（JSCC）以缓解在噪声信道中的‘悬崖效应’。通过分析语义向量的重要性并丢弃不重要的特征，PCSC 实现了无需微调的可控编码速率，同时与非正交模型划分多址接入（MDMA）集成，实现多用户传输，在相同带宽下相较传统方法在 PSNR D1 和 D2 上实现了高达 10 dB 的增益。

ABSTRACT

Point cloud, as a 3D representation, is widely used in autonomous driving, virtual reality (VR), and augmented reality (AR). However, traditional communication systems think that the point cloud's semantic information is irrelevant to communication, which hinders the efficient transmission of point clouds in the era of artificial intelligence (AI). This paper proposes a point cloud based semantic communication system (PCSC), which uses AI-based encoding techniques to extract the semantic information of the point cloud and joint source-channel coding (JSCC) technology to overcome the distortion caused by noise channels and solve the "cliff effect" in traditional communication. In addition, the system realizes the controllable coding rate without fine-tuning the network. The method analyzes the coded semantic vector's importance and discards semantically-unimportant information, thereby improving the transmission efficiency. Besides, PCSC and the recently proposed non-orthogonal model division multiple access (MDMA) technology are combined to design a point cloud MDMA transmission system (M-PCSC) for multi-user transmission. Relevant experimental results show that the proposed method outperforms the traditional method 10dB in the same channel bandwidth ratio under the PSNR D1 and PSNR D2 metrics. In terms of transmission, the proposed method can effectively solve the "cliff effect" in the traditional methods.

研究动机与目标

• 通过利用语义信息而非原始数据，解决传统通信系统在传输点云时效率低下的问题。
• 通过基于深度神经网络的联合源信道编码（JSCC）方案，克服传统系统中的‘悬崖效应’。
• 通过分析语义向量的重要性并剪枝相关性较低的特征，实现在无需网络微调情况下的可控编码速率。
• 通过与非正交模型划分多址接入（MDMA）集成，支持多用户点云传输，降低带宽使用。
• 在统一框架下优化端到端传输失真，以提升重建质量。

提出的方法

• PCSC 系统采用基于深度神经网络的编码器从点云中提取语义特征，替代传统的比特流编码。
• 采用联合源信道编码（JSCC）机制以最小化端到端传输失真，增强对噪声的鲁棒性并缓解‘悬崖效应’。
• 通过向量值的大小及其梯度确定语义向量的重要性，实现对不重要特征的选择性剪枝，以实现可控编码速率。
• 系统基于向量大小和梯度导出的阈值，动态丢弃语义上不重要的信息，从而降低带宽，且无需重新训练。
• M-PCSC 系统将 PCSC 与非正交 MDMA 相结合，其中共享的语义特征仅传输一次，用户特定的特征则分别传输，以优化频谱效率。
• 整个系统被建模为一个端到端优化问题以最小化失真，性能通过 PSNR D1 和 D2 指标进行评估。

实验结果

研究问题

• RQ1 如何有效将语义通信应用于三维点云传输，以提升效率与鲁棒性？
• RQ2 联合源信道编码（JSCC）在噪声信道中传输点云时，能在多大程度上减轻‘悬崖效应’？
• RQ3 能否通过向量大小和梯度量化语义向量的重要性，以实现无需微调的细粒度、可控编码速率？
• RQ4 将 PCSC 与非正交模型划分多址接入（MDMA）集成后，如何提升多用户点云传输中的频谱效率？
• RQ5 在相同带宽条件下，所提系统相较于传统 LDPC 基点云传输在 PSNR D1 和 D2 指标上的性能增益是多少？

主要发现

• 在相同信道带宽比下，所提出的 PCSC 系统在 PSNR D1 和 PSNR D2 指标上相较传统 LDPC 基系统最高可提升 10 dB。
• 基于 JSCC 的 PCSC 有效缓解了‘悬崖效应’，即使在低信噪比（SNR）下也能保持稳定性能，而传统 LDPC 方案则无法做到。
• 在瑞利衰落信道中，1/2 LDPC + 16QAM 的‘悬崖效应’出现在约 9 dB SNR 处，而采用 JSCC 的 PCSC 则表现出渐进式退化。
• 当语义重叠率（Sor）为 0.8 时，M-PCSC 系统实现了 40% 的带宽节省，且性能接近原始重建质量。
• 在低 SNR（0 dB）条件下，基于非正交 MDMA 的 M-PCSC 系统相较传统 NOMA 在系统性能上提升了约 30 dB。
• 当 Sor 低于 0.8 时，系统保持稳定的重建质量；但当 Sor 超过 0.8 时，由于共享特征传输中干扰增加，性能下降。