[论文解读] Semantic Importance-Aware Communications Using Pre-trained Language Models
本文提出了一种基于预训练语言模型（如ChatGPT、BERT）的语义重要性感知通信（SIAC）方案，用于量化帧级语义重要性并实现重要性感知的功率分配。通过在跨层管理器中嵌入预训练模型，SIAC在对现有系统修改最小的情况下提升了语义可靠性，其语义损失低于等优先级传输，尤其在低信噪比（SNR）条件下表现更优。
This letter proposes a semantic importance-aware communication (SIAC) scheme using pre-trained language models (e.g., ChatGPT, BERT, etc.). Specifically, we propose a cross-layer design with a pre-trained language model embedded in/connected by the cross-layer manager. The pre-trained language model is utilized to quantify the semantic importance of data frames. Based on the quantified semantic importance, we investigate semantic importance-aware power allocation. Unlike existing deep joint source-channel coding (Deep-JSCC)-based semantic communication schemes, SIAC can be directly embedded into current communication systems by only introducing a cross-layer manager. Our experimental results show that the proposed SIAC scheme can achieve lower semantic loss than existing equal-priority communications.
研究动机与目标
- 为解决深度联合信源信道编码（Deep-JSCC）方案与现有通信系统不兼容的问题，避免重新训练和全系统更新。
- 通过仅引入一个跨层管理器，实现在传统系统中的语义通信，避免全系统重构。
- 利用预训练语言模型（如ChatGPT、BERT）量化数据帧的语义重要性，以实现动态功率分配。
- 通过优化的功率分配策略，优先传输语义重要帧，从而最小化语义层面的损失。
提出的方法
- 将预训练语言模型（如ChatGPT或BERT）集成到跨层管理器中，用于评估数据帧的语义重要性。
- 使用ChatGPT生成包含高亮重要词汇的消息，并根据加粗词分配重要性权重。
- 利用BERT通过句子嵌入相似度计算语义重要性，采用公式（1）定义语义损失。
- 通过Manopt工具箱进行流形优化，求解公式（4）中的功率分配问题，以最小化预期重要词错误或语义损失。
- 设计两种变体：ChatGPT-SIAC用于生成式重要性标注，BERT-SIAC用于基于嵌入的重要性量化。
- 采用基于帧的传输模型，每批包含20帧，每帧含5个词，并使用中断概率建模帧错误。
实验结果
研究问题
- RQ1预训练语言模型能否有效用于通信系统中数据帧语义重要性的量化？
- RQ2如何利用语义重要性提升低SNR或高丢包环境下的通信可靠性？
- RQ3能否以最小修改将集成有预训练模型的跨层管理器嵌入现有通信系统？
- RQ4在语义损失和词错误率方面，重要性感知功率分配相比等优先级传输的性能增益如何？
主要发现
- ChatGPT-SIAC在设计上实现了最低的预期重要词错误，因其目标函数直接最小化此类错误。
- BERT-SIAC在语义损失减少方面优于等优先级传输，尤其在总功率较低（5–10 W）时性能增益显著，随着功率增加，增益逐渐减弱。
- 所提出的SIAC方案相比等优先级传输可降低语义损失，当以语义相似度为度量指标时，BERT-SIAC表现最优。
- ChatGPT在高亮重要词时处理速度略有下降，表明延迟增加不足10%。
- 自部署的BERT模型每分钟处理约25帧，仅适用于延迟容忍的应用场景。
- 实现代码已公开发布于GitHub，以支持可复现性与进一步研究。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。