[论文解读] Retriever: Learning Content-Style Representation as a Token-Level Bipartite Graph

Dacheng Yin, Xuanchi Ren+4 more|arXiv (Cornell University)|Feb 24, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

Retriever 提出了一种模态无关的、无监督的框架，通过将内容-风格解耦表征建模为标记级别的二分图，实现内容与风格的解耦表征学习。该框架利用交叉注意力机制进行风格检索，通过人工诱导约束的向量量化（VQ）实现可解释的内容标记，同时引入一种新颖的链接注意力模块以实现数据重建。该方法在零样本语音转换任务中达到最先进性能，并在图像中实现具有竞争力的部件发现，展现出强大的解耦能力与生成潜力。

ABSTRACT

This paper addresses the unsupervised learning of content-style decomposed representation. We first give a definition of style and then model the content-style representation as a token-level bipartite graph. An unsupervised framework, named Retriever, is proposed to learn such representations. First, a cross-attention module is employed to retrieve permutation invariant (P.I.) information, defined as style, from the input data. Second, a vector quantization (VQ) module is used, together with man-induced constraints, to produce interpretable content tokens. Last, an innovative link attention module serves as the decoder to reconstruct data from the decomposed content and style, with the help of the linking keys. Being modal-agnostic, the proposed Retriever is evaluated in both speech and image domains. The state-of-the-art zero-shot voice conversion performance confirms the disentangling ability of our framework. Top performance is also achieved in the part discovery task for images, verifying the interpretability of our representation. In addition, the vivid part-based style transfer quality demonstrates the potential of Retriever to support various fascinating generative tasks. Project page at https://ydcustc.github.io/retriever-demo/.

研究动机与目标

• 基于排列不变性，建立结构化数据中内容与风格的统一、模态无关的定义。
• 开发一种无监督框架，无需依赖模态特异性或数据集特异性的定义，实现内容与风格的分解。
• 通过可学习的二分图结构，实现对内容与风格的细粒度、可解释的操控。
• 在语音与视觉任务中，实现高保真度的数据重建与下游任务性能。

提出的方法

• 将风格定义为标记级别的排列不变性（P.I.）信息，内容则为剩余的顺序敏感信息。
• 使用共享原型的交叉注意力模块，从输入数据中检索P.I.风格标记。
• 应用带人工诱导约束的向量量化（VQ），生成离散且可解释的内容标记。
• 引入一种链接注意力模块，利用链接键从内容与风格中通过内容查询驱动的风格检索重建数据。
• 通过重建损失、VQ多样性损失与结构约束损失的组合，端到端训练模型。
• 通过设计在标记级别表示上运行、不引入模态特异性归纳偏置的组件，确保模态无关性。

实验结果

研究问题

• RQ1 是否可以将统一的、排列不变的风格定义应用于语音与图像等不同模态？
• RQ2 如何在不依赖成对数据或模态特异性监督的情况下，无监督地实现内容与风格的解耦？
• RQ3 在标记级别上的二分图结构是否能为下游任务提供对内容与风格的细粒度、可解释的控制？
• RQ4 所提出的链接注意力机制是否能有效从分离的内容与风格表征中重建数据？
• RQ5 该框架是否能泛化到真实世界、多样化数据集（如LibriSpeech）而非仅限于精心筛选的基准数据集？

主要发现

• 在使用10个目标语音样本的情况下，Retriever在CMU Arctic数据集上实现了99.6%的相似度准确率，达到零样本语音转换的最先进性能。
• 在LibriSpeech数据集上，模型在60个风格标记下达到98.4%的说话人验证准确率与3.13的MOSNet评分，证明其在复杂真实场景下的鲁棒性。
• 消融实验表明，结构约束与VQ多样性损失均至关重要，若二者缺失，语音质量显著下降（MOSNet降至2.94）。
• 模型对超参数变化具有鲁棒性：在广泛损失权重设置下，SV准确率波动小于±0.45%，MOSNet波动小于±0.02。
• 图像中的部件级风格迁移生成了鲜明且可解释的结果，验证了所学习内容与风格表征的可解释性。
• 该框架在图像部件发现任务中实现了具有竞争力的性能，验证了通过人工诱导约束生成的内容标记的可解释性。