[论文解读] Vector Quantized Contrastive Predictive Coding for Template-based Music Generation

Gaëtan Hadjeres, Léopold Crestel|arXiv (Cornell University)|Apr 21, 2020

Music and Audio Processing参考文献 39被引用 11

一句话总结

该论文提出向量量化对比预测编码（VQ-CPC），一种自监督方法，通过将有意义的结构单元（如巴赫经文歌中的小节）聚类到码书中，学习音乐序列的离散、可解释表示。通过对比损失控制信息内容，并在Transformer解码器中使用定制的注意力机制，该模型生成高质量、连贯的音乐变体，无需任何监督或标注，即可保留与给定模板的感知相似性。

ABSTRACT

In this work, we propose a flexible method for generating variations of discrete sequences in which tokens can be grouped into basic units, like sentences in a text or bars in music. More precisely, given a template sequence, we aim at producing novel sequences sharing perceptible similarities with the original template without relying on any annotation; so our problem of generating variations is intimately linked to the problem of learning relevant high-level representations without supervision. Our contribution is two-fold: First, we propose a self-supervised encoding technique, named Vector Quantized Contrastive Predictive Coding which allows to learn a meaningful assignment of the basic units over a discrete set of codes, together with mechanisms allowing to control the information content of these learnt discrete representations. Secondly, we show how these compressed representations can be used to generate variations of a template sequence by using an appropriate attention pattern in the Transformer architecture. We illustrate our approach on the corpus of J.S. Bach chorales where we discuss the musical meaning of the learnt discrete codes and show that our proposed method allows to generate coherent and high-quality variations of a given template.

研究动机与目标

• 开发一种无需标注或预定义相似性度量的自监督方法，基于模板序列生成音乐变体。
• 通过将有意义的子序列聚类到离散码书中，学习结构化离散序列（如音乐小节或句子）的高层、解耦表示。
• 通过对比预测编码目标调节学习到的离散表示中的信息内容，实现可控生成。
• 在Transformer解码器中设计专用注意力机制，高效地基于离散码序列进行条件化，实现连贯、高保真度的生成。
• 在J.S.巴赫经文歌的符号音乐生成任务上展示该方法的有效性，生成具有感知意义且音乐连贯的变体。

提出的方法

• 该方法使用对比预测编码（CPC）框架学习序列子序列的上下文表示，随后通过向量量化（VQ）将其映射到离散码书。
• 应用噪声对比估计（NCE）损失，确保子序列的表示能够预测未来子序列，从而促进有意义的聚类。
• 通过承诺损失训练码书，以鼓励所有码的使用，确保无空簇且表示学习稳定。
• 将离散码用作Transformer解码器中的条件输入，其中改进的多头自注意力机制实现了高效且连贯的自回归生成。
• 模型端到端训练：编码器从输入序列中提取表示，经向量量化后生成离散码，解码器基于这些码生成新序列。
• 该方法无需数据增强或辅助任务，仅通过对比目标即可学习到平移不变且具有感知意义的聚类。

实验结果

研究问题

• RQ1 自监督表示学习方法是否能在无任何监督或标注的情况下，生成与模板序列音乐连贯的变体？
• RQ2 如何控制离散表示中的信息内容，以实现有意义的变体生成？
• RQ3 向量量化与对比预测编码相结合，能否产生音乐序列（如小节级结构）的可解释高层抽象？
• RQ4 Transformer解码器中专用的注意力机制是否能提升基于离散码序列生成的变体的质量与连贯性？
• RQ5 学习到的离散码在音乐语境下是否具有语义意义且可感知可解释，例如编码调性或声部范围？

主要发现

• VQ-CPC模型成功学习到与感知上有意义的音乐特征（如调性、高音声部范围）相对应的离散码，且无需任何显式监督。
• 该模型生成了高质量、连贯的巴赫经文歌变体，保留了与原始模板的和声与结构相似性。
• 离散码书被完全利用，无空簇，表明通过向量量化与对比损失实现了稳定且有效的表示学习。
• 该方法通过对比目标调节表示中的信息内容，实现可控生成，无需辅助损失或超参数（如掩码大小）。
• 所提出的Transformer解码器中的注意力机制实现了高效且连贯的自回归生成，相较于基线方法在生成连贯性方面表现更优。
• 即使无数据增强，模型仍能学习到平移不变的聚类，表明其在表示空间中对音高偏移具有鲁棒性。