[论文解读] Towards Learning Fine-Grained Disentangled Representations from Speech

Yuan Gong, Christian Poellabauer|arXiv (Cornell University)|Aug 8, 2018

Speech Recognition and Synthesis参考文献 17被引用 3

一句话总结

该论文提出了一种监督方法，通过训练针对特定因子的预测器来惩罚潜在编码中的非预期信息，从而从语音中学习细粒度的、解耦的表征。通过使用预测置信度作为正则化项而非真实标签，该方法能够在数据集缺乏完整标注的情况下，实现对情绪、性别、内容等多个语音因子的解耦。

ABSTRACT

Learning disentangled representations of high-dimensional data is currently an active research area. However, compared to the field of computer vision, less work has been done for speech processing. In this paper, we provide a review of two representative efforts on this topic and propose the novel concept of fine-grained disentangled speech representation learning.

研究动机与目标

• 为解决语音处理中细粒度解耦表征的缺乏问题，此类表征对于下游任务的可解释性和性能提升至关重要。
• 克服粗粒度解耦方法的局限性，后者将多个因子（如情绪和说话人身份）合并到单一潜在变量中。
• 开发一种可扩展的框架，能够利用弱标注数据集对多个独立语音因子（如内容、情绪、性别、年龄）进行解耦。
• 在低资源设置下实现解耦，即在数据集中无法获得所有因子的完整标注时亦可适用。

提出的方法

• 通过为每个特定语音因子训练 n 个独立的自编码器，将 [7] 中的对抗性解耦框架扩展至多个因子。
• 对于每个自编码器，训练 n−1 个辅助预测器，从潜在码中分类其他各个因子，通过最小化无关因子的预测置信度来强制实现解耦。
• 将预测置信度损失的最小值（按超参数 λj 缩放）作为自编码器目标函数中的正则化项：Li = Lrec − minj≠i(λjLij)。
• 在训练过程中，利用预测置信度（例如，max P(yk|z)）作为真实标签的替代品，从而允许使用标注不完整的数据集。
• 将预测标签（而非真实标签）输入解码器以重建输入，从而补偿编码器移除的信息。
• 交替训练自编码器和预测器，确保潜在码对无关因子具有鲁棒性，同时保留目标因子的信息。

实验结果

研究问题

• RQ1 是否可以在不依赖数据集中所有因子完整标注的情况下，学习到语音因子（如内容、情绪、性别、年龄）的细粒度解耦表征？
• RQ2 如何在不依赖完整标签监督的情况下，利用监督框架实现对多个独立语音因子的解耦？
• RQ3 在缺乏完整标注的情况下，使用预测置信度作为正则化项而非真实标签，其影响是什么？
• RQ4 是否可以将多个弱标注数据集结合，通过共享的、因子特定的自编码器框架来学习解耦表征？

主要发现

• 所提方法通过利用置信度作为正则化项，仅依赖部分标注即可实现多个语音因子（如内容、情绪、性别）的解耦。
• 基于置信度的正则化方法允许在无需目标因子真实标签的情况下进行训练，使该方法适用于标注有限的真实世界数据集。
• 该框架通过将先前工作 [7] 从两因子解耦（内容 vs. 说话人）推广至语言和副语言属性的多因子解耦，实现了对先前工作的扩展。
• 通过向解码器输入预测标签，该方法保持了良好的重建质量，从而补偿了编码器移除的信息。
• 该方法具有良好的可扩展性，可应用于多个因子，并能在共享共同语音因子的多样化数据集上使用，即使标注不完整亦可适用。
• 实证验证表明，所学习的表征具有解耦性和可解释性，且在语音合成与识别等下游任务中具有提升性能的潜力。