[论文解读] Unsupervised Speech Decomposition via Triple Information Bottleneck

Kaizhi Qian, Shuicheng Yan+3 more|arXiv (Cornell University)|Apr 23, 2020

Speech Recognition and Synthesis参考文献 39被引用 43

一句话总结

SpeechSplit 是一个无监督自编码器，通过三个专门的信息瓶颈将语音分解为内容、音色、音高和节奏，从而在四个组成部分上实现盲式风格转换，而无需文本标签。

ABSTRACT

Speech information can be roughly decomposed into four components: language content, timbre, pitch, and rhythm. Obtaining disentangled representations of these components is useful in many speech analysis and generation applications. Recently, state-of-the-art voice conversion systems have led to speech representations that can disentangle speaker-dependent and independent information. However, these systems can only disentangle timbre, while information about pitch, rhythm and content is still mixed together. Further disentangling the remaining speech components is an under-determined problem in the absence of explicit annotations for each component, which are difficult and expensive to obtain. In this paper, we propose SpeechSplit, which can blindly decompose speech into its four components by introducing three carefully designed information bottlenecks. SpeechSplit is among the first algorithms that can separately perform style transfer on timbre, pitch and rhythm without text labels. Our code is publicly available at https://github.com/auspicious3000/SpeechSplit.

研究动机与目标

• 强调超越仅仅对音色的必要性，在语音中分离内容、节奏、音调和音色。
• 提出一个无监督自编码框架（SpeechSplit），具有三个编码器和有针对性的信息瓶颈，以分离四个语音组成部分。
• 证明在不依赖文本标注的情况下，不同组成部分可以被传输或修改。
• 利用信息瓶颈原理来引导解耦并为通用表示学习提供洞见。

提出的方法

• 引入三个编码器（内容、节奏、音高）再加一个解码器，在每个编码器输出处设置信息瓶颈。
• 对内容和音高编码器应用随机时域重采样，以污染节奏信息并创建瓶颈。
• 将解码器与三种编码代码加上说话人身份信息一起输入，以重建谱图，从而在给定假设下实现盲解耦。
• 使用 WaveNet vocoder（如 AutoVC 中）从解码后的谱图重构波形。
• 在 VCTK 上无需文本标签进行训练，并通过主观 MOS 和客观音高度量（GPE、VDE、FFE）进行评估。

实验结果

研究问题

• RQ1 在无文本转录的无监督设置中，语音的内容、节奏、音调和音色可以被解耦吗？
• RQ2 三个专用瓶颈是否促使独立的编码器捕获不同的组件（C、R、F），而解码器单独接收音色信息？
• RQ3 SpeechSplit 能否在没有并行数据或标签的情况下执行独立或组合的风格迁移（节奏、音调、音色）？
• RQ4 与 AutoVC 相比，音调单独转换与其他转换的主观和客观性能特征是什么？

主要发现

• SpeechSplit 使节奏、音调和音色在谱图和音高轮廓方面实现近乎分离的操控。
• 仅音调的转换在目标轮廓的音高对齐方面达到可测量的结果（GPE ~1.04%、VDE ~8.14%、FFE ~8.86%）。
• 主观 MOS 指示各组成部分的难度不同，单独进行音调转换时通常高于音色或节奏。
• 不同转换类型的 MOS 显示三者转换的总体质量低于单一组件转换，而 AutoVC 仍然是以音色为重点的基线。
• 不匹配内容的节奏转换揭示了一个锚定/填空机制，将节奏与内容/音高映射对齐。
• 通过将一个组成部分设为零输入来移除，得到易于解释的损失模式（例如移除节奏时谱图为空白）。