[论文解读] Semantic-preserved Communication System for Highly Efficient Speech Transmission

Tianxiao Han, Qianqian Yang+3 more|arXiv (Cornell University)|May 25, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出了一种基于端到端深度学习的语音传输语义通信系统，仅传输与语义相关的关键特征，并辅以最少的、与语义无关但与语音相关的特征以实现重建。通过采用软对齐、冗余消除以及预训练语言模型进行语义校正，该系统在语音转文字任务中将传输符号减少至现有方法的16%，在语音转语音任务中减少至0.2%，在传输效率方面实现显著提升，同时保持了优异或相当的性能表现。

ABSTRACT

Deep learning (DL) based semantic communication methods have been explored for the efficient transmission of images, text, and speech in recent years. In contrast to traditional wireless communication methods that focus on the transmission of abstract symbols, semantic communication approaches attempt to achieve better transmission efficiency by only sending the semantic-related information of the source data. In this paper, we consider semantic-oriented speech transmission which transmits only the semantic-relevant information over the channel for the speech recognition task, and a compact additional set of semantic-irrelevant information for the speech reconstruction task. We propose a novel end-to-end DL-based transceiver which extracts and encodes the semantic information from the input speech spectrums at the transmitter and outputs the corresponding transcriptions from the decoded semantic information at the receiver. For the speech to speech transmission, we further include a CTC alignment module that extracts a small number of additional semantic-irrelevant but speech-related information for the better reconstruction of the original speech signals at the receiver. The simulation results confirm that our proposed method outperforms current methods in terms of the accuracy of the predicted text for the speech to text transmission and the quality of the recovered speech signals for the speech to speech transmission, and significantly improves transmission efficiency. More specifically, the proposed method only sends 16% of the amount of the transmitted symbols required by the existing methods while achieving about 10% reduction in WER for the speech to text transmission. For the speech to speech transmission, it results in an even more remarkable improvement in terms of transmission efficiency with only 0.2% of the amount of the transmitted symbols required by the existing method.

研究动机与目标

• 为解决传统语音传输中因依赖原始数据而非语义内容而导致的低效问题。
• 通过仅传输与语义相关的信息，降低语音通信中的传输开销。
• 通过引入少量与语音相关但非语义的特征（如音高、时长、能量），实现高质量的语音重建。
• 通过利用预训练语言模型的语义校正模块，提升转录准确率。
• 设计一种两阶段训练方案，加速模型收敛，同时不损失性能。

提出的方法

• 采用软对齐模块从语音频谱中提取仅与文本相关的语义特征，舍弃语义冗余内容。
• 通过冗余消除模块将潜在语义特征减少高达90%，显著降低传输负载。
• 基于束搜索的语义解码器捕捉输入序列中的长距离依赖关系，提升转录准确率。
• 语义校正模块整合预训练语言模型，利用上下文语义知识优化预测转录结果。
• 在语音转语音传输中，CTC对齐模块提取音素级语音特征（时长、音高、能量、说话人ID），以辅助重建。
• 采用两阶段训练方案：先分别训练语义编码器与解码器，再联合微调整个模型，从而加速收敛。

实验结果

研究问题

• RQ1 基于深度学习的语义通信系统是否能显著减少语音传输中的传输符号数量，同时保持转录准确率？
• RQ2 如何在不降低转录质量的前提下，有效去除语音频谱中的语义冗余？
• RQ3 在语义通信框架中，预训练语言模型能在多大程度上提升转录准确率？
• RQ4 仅包含少量附加语音相关特征（如音高、时长）是否能以极低开销实现高保真语音重建？
• RQ5 两阶段训练策略是否能有效加速端到端语义通信系统在语音任务中的模型收敛？

主要发现

• 所提方法在语音转文字传输中，将传输符号减少至最先进方法的16%，并将词错误率（WER）降低10%。
• 在语音转语音传输中，系统仅需传输DeepSC-S所需符号的0.2%，在保持相近语音质量的同时，效率得到极大提升。
• 在未添加额外语音特征的情况下，重建语音的MOS得分与真实语音相当，表明其自然度高，尽管预测时长较长。
• MCD（梅尔倒谱距离）结果表明，加入额外语音特征后性能显著提升，证实了更精确的谱特征重建。
• 冗余消除模块将潜在语义特征减少90%，证明了对语义冗余内容的有效抑制。
• 两阶段训练方案通过实验验证，显著加速了模型收敛，且未影响最终性能。