[论文解读] StarGAN-based Emotional Voice Conversion for Japanese Phrases

Asuka Moritani, Ryo Ozaki+3 more|arXiv (Cornell University)|Apr 5, 2021

Speech Recognition and Synthesis参考文献 17被引用 6

一句话总结

本文提出 StarGAN-EVC，一种用于日语短语的非平行、多对多情感语音转换方法，通过 StarGAN-VC 的谱包络转换实现，仅对基频（F0）和准周期性进行最少处理。主观评估显示其情感转换性能中等，但自然度因情感状态而异，尤其在‘悲伤’语句中差异显著。

ABSTRACT

This paper shows that StarGAN-VC, a spectral envelope transformation method for non-parallel many-to-many voice conversion (VC), is capable of emotional VC (EVC). Although StarGAN-VC has been shown to enable speaker identity conversion, its capability for EVC for Japanese phrases has not been clarified. In this paper, we describe the direct application of StarGAN-VC to an EVC task with minimal fundamental frequency and aperiodicity processing. Through subjective evaluation experiments, we evaluated the performance of our StarGAN-EVC system in terms of its ability to achieve EVC for Japanese phrases. The subjective evaluation is conducted in terms of subjective classification and mean opinion score of neutrality and similarity. In addition, the interdependence between the source and target emotional domains was investigated from the perspective of the quality of EVC.

研究动机与目标

• 探究 StarGAN-VC（最初专为说话人身份转换设计）是否可直接应用于无需并行训练数据的日语短语情感语音转换（EVC）。
• 评估仅通过谱包络转换实现 EVC 的有效性，同时对 F0 和准周期性进行最少处理。
• 通过主观听音测试评估所提出 StarGAN-EVC 系统的性能，重点关注情感分类、自然度（MOS）和情感相似度（ESS）。
• 分析源情感域与目标情感域在 EVC 中的相互依赖关系，特别是双向转换质量及性能不对称性。
• 探索将 StarGAN-VC 与其他 EVC 技术结合用于 F0 和准周期性处理的可能性，以提升整体转换质量和自然度。

提出的方法

• 将基于生成对抗网络（GAN）的非平行多对多语音转换框架 StarGAN-VC 适配用于情感语音转换（EVC），将情感状态视为域。
• 以谱包络转换为主要机制实现 EVC，对 F0 使用对数高斯归一化，对准周期性采用身份映射，以保留语调和谱特征。
• 采用生成器网络，输入为语音特征和一个独热编码的目标情感标签，输出为转换后的特征序列。
• 通过对抗方式训练生成器与判别器，判别器用于区分真实与生成的特征，域分类器确保正确的域归属。
• 应用循环一致性损失以稳定训练并提升双向转换性能，尽管结果中的不对称性表明完全对称性仍有限制。
• 将模型应用于非平行日语短语数据集，实现无需跨情感状态并行语句的端到端训练。

实验结果

研究问题

• RQ1 能否仅通过谱包络转换有效应用 StarGAN-VC 于日语短语的情感语音转换？
• RQ2 StarGAN-EVC 在不同源-目标情感状态配对中的情感分类、自然度和相似度表现如何变化？
• RQ3 缺乏显式 F0 和准周期性建模在多大程度上影响了转换语音的质量与自然度？
• RQ4 情感语音转换在不同情感状态之间是否存在双向不对称性？其成因可能是什么？
• RQ5 仅通过谱包络转换能否实现感知上令人信服的情感语音转换，还是需要额外的语调调整？

主要发现

• 主观评估表明，StarGAN-EVC 仅通过谱包络转换即可成功转换日语短语中的情感表达，当目标为‘中性’时，情感分类平均准确率达 4.79（满分 5）。
• 自然度的平均意见分（MOS）普遍偏低，尤其在从‘悲伤’转换至其他情感时，MOS 值低于 2.0，表明感知质量较差。
• 情感相似度得分（ESS）在大多数配对中高于 MOS 得分，表明虽然情感意图常被识别，但语音质量未被视为自然。
• 系统表现出显著的性能不对称性：从‘悲伤’转换至其他情感的 MOS 较低，而从‘喜悦’转换至‘悲伤’的 MOS 较高，表明模型在不同情感状态间的泛化能力并非对称。
• 当从‘悲伤’转换至‘中性’时，ESS 达到最高值 4.92，表明即使在自然度受损的情况下，模型仍能较好地保留情感相似度。
• 结果表明，尽管谱包络转换在情感传递方面有效，但缺乏对 F0 和准周期性的显式建模，限制了整体自然度，尤其在情感差异显著的状态（如‘悲伤’）中更为明显。