[论文解读] Style Equalization: Unsupervised Learning of Controllable Generative Sequence Models

Jen-Hao Rick Chang, Ashish Shrivastava+3 more|arXiv (Cornell University)|Oct 6, 2021

Music and Audio Processing被引用 8

一句话总结

本文提出风格等化（Style Equalization），一种通过应用风格转换模块将目标风格信息转移到无关风格输入中，以解决无监督可控生成序列模型中训练-推理不匹配问题的方法。通过在未配对的内容与风格样本上进行训练，该模型实现了高质量的风格复制——在用户研究中与真实数据相当——同时通过时间不变的风格瓶颈防止内容泄露。

ABSTRACT

Controllable generative sequence models with the capability to extract and replicate the style of specific examples enable many applications, including narrating audiobooks in different voices, auto-completing and auto-correcting written handwriting, and generating missing training samples for downstream recognition tasks. However, under an unsupervised-style setting, typical training algorithms for controllable sequence generative models suffer from the training-inference mismatch, where the same sample is used as content and style input during training but unpaired samples are given during inference. In this paper, we tackle the training-inference mismatch encountered during unsupervised learning of controllable generative sequence models. The proposed method is simple yet effective, where we use a style transformation module to transfer target style information into an unrelated style input. This method enables training using unpaired content and style samples and thereby mitigate the training-inference mismatch. We apply style equalization to text-to-speech and text-to-handwriting synthesis on three datasets. We conduct thorough evaluation, including both quantitative and qualitative user studies. Our results show that by mitigating the training-inference mismatch with the proposed style equalization, we achieve style replication scores comparable to real data in our user studies.

研究动机与目标

• 解决无监督可控序列生成中的训练-推理不匹配问题，即模型在训练时使用内容与风格配对样本，但在部署时使用未配对的输入。
• 在无需说话人标签或人工标注的情况下实现有效的风格迁移，仅依赖原始输入序列。
• 通过确保风格表征为时间不变，防止内容泄露（即模型从风格输入中复制内容）。
• 在定量与定性评估中，实现与真实数据相当的高保真度风格复制。
• 在文本到语音和文本到手写体合成中，展示对未见说话人与风格的良好泛化能力。

提出的方法

• 引入一个风格转换模块，将参考风格输入映射为与内容输入风格一致，从而实现使用未配对的内容与风格样本进行训练。
• 通过在训练过程中随机替换部分风格输入为转换后的版本，应用风格等化，确保模型能泛化到不同风格。
• 在风格编码器中使用时间不变瓶颈，以抑制时间相关的上下文信息，降低内容泄露风险。
• 利用基于注意力机制的自回归生成模型，同时关注内容与风格表征，生成序列输出。
• 采用变分自编码器（VAE）目标端到端训练模型，并在风格潜在变量上使用学习到的先验分布。
• 应用低通滤波并避免下采样时的填充操作，以减少混叠效应，保持时间不变风格表征的完整性。

实验结果

研究问题

• RQ1 在未访问内容与风格配对数据的情况下，无监督训练的生成序列模型能否实现高质量的风格迁移？
• RQ2 当模型在推理时需泛化到未配对的内容与风格输入时，如何缓解训练-推理分布偏移问题？
• RQ3 风格等化在自回归序列生成模型中在多大程度上减少了内容泄露？
• RQ4 时间不变的风格表征能否有效捕捉复杂的时变风格动态，如语调或手写笔画模式？
• RQ5 与基线方法相比，该方法在风格复制保真度以及对未见说话人或风格的泛化能力方面表现如何？

主要发现

• 在用户研究中，所提方法的风格复制得分与真实数据相当，表明其具有高感知质量。
• 当50%的训练批次应用风格等化时，该模型在所有对比模型中与参考风格的余弦相似度最高，表明其风格表征学习效果优异。
• 经风格等化训练的模型显著降低了内容泄露，这在非平行文本生成设置中体现为更低的字符错误率（CER）。
• 消融实验表明，风格等化对防止内容泄露至关重要，尤其在模型易发生过拟合时。
• 该方法在未见说话人与风格上表现出良好的泛化能力，体现在语音与手写体合成中对学习到的风格先验进行插值与随机采样均取得成功。
• 即使参考风格包含不同内容，模型仍保持强大性能，证实其在非平行推理设置下的鲁棒性。