[论文解读] Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling

Hao Tan, Dorien Herremans|arXiv (Cornell University)|Jul 29, 2020

Music and Audio Processing参考文献 41被引用 11

一句话总结

Music FaderNets 提出了一种半监督框架，通过解耦潜在表征建模其底层低水平属性（如节奏、音符密度），学习可解释的高层次音乐特征（例如唤醒度）。使用高斯混合变分自编码器（GM-VAEs），该模型仅用1%的标注数据即可实现可控音乐生成，支持有效的风格迁移，并通过主观听觉测试得到验证，对唤醒度变化的判断一致性达81.45%。

ABSTRACT

High-level musical qualities (such as emotion) are often abstract, subjective, and hard to quantify. Given these difficulties, it is not easy to learn good feature representations with supervised learning techniques, either because of the insufficiency of labels, or the subjectiveness (and hence large variance) in human-annotated labels. In this paper, we present a framework that can learn high-level feature representations with a limited amount of data, by first modelling their corresponding quantifiable low-level attributes. We refer to our proposed framework as Music FaderNets, which is inspired by the fact that low-level attributes can be continuously manipulated by separate "sliding faders" through feature disentanglement and latent regularization techniques. High-level features are then inferred from the low-level representations through semi-supervised clustering using Gaussian Mixture Variational Autoencoders (GM-VAEs). Using arousal as an example of a high-level feature, we show that the "faders" of our model are disentangled and change linearly w.r.t. the modelled low-level attributes of the generated output music. Furthermore, we demonstrate that the model successfully learns the intrinsic relationship between arousal and its corresponding low-level attributes (rhythm and note density), with only 1% of the training set being labelled. Finally, using the learnt high-level feature representations, we explore the application of our framework in style transfer tasks across different arousal states. The effectiveness of this approach is verified through a subjective listening test.

研究动机与目标

• 解决人类对高层次音乐特征（如情绪或唤醒度）标注有限且主观的问题。
• 通过潜在正则化与特征解耦，学习低水平音乐属性（如节奏、音符密度）的解耦且可控制的表征。
• 通过使用少量标注数据的半监督聚类方法，利用 GM-VAEs 从低水平表征推断高层次音乐品质。
• 利用学习到的潜在表征，在高层次特征（如唤醒度）之间实现风格迁移。
• 通过主观听觉测试与可控性及感知质量的定量分析，验证模型的有效性。

提出的方法

• 模型采用条件 VAE 架构，为每个低水平属性设置独立的潜在空间，通过‘调音钮’实现独立控制。
• 应用潜在正则化技术，将各个低水平特征（如节奏、音符密度）解耦为独立且可解释的维度。
• 采用高斯混合变分自编码器（GM-VAE）建模低水平特征与高层次属性（如唤醒度）之间的层次关系。
• 通过半监督方式，利用有限的标注数据对低水平表征的潜在码进行聚类，学习高层次特征表征。
• 在风格迁移中，计算对应不同唤醒度水平的高斯分量均值之间的偏移向量，并将其应用于潜在码以实现音乐风格迁移。
• 全局解码器从修改后的潜在码重建音乐，在保持结构一致性的同时改变高层次属性。

实验结果

研究问题

• RQ1 模型能否仅用1%的标注数据，从低水平属性学习高层次音乐特征（如唤醒度）？
• RQ2 所学习的低水平特征（如节奏和音符密度）的‘调音钮’控制是否解耦且对生成音乐的输出呈线性响应？
• RQ3 模型是否能准确推断出低水平属性（节奏、音符密度）与高层次唤醒度之间的内在关系？
• RQ4 模型能否在保持音乐质量的前提下，实现不同唤醒状态之间的有效风格迁移？
• RQ5 人类听觉感知者对生成音乐中预设唤醒度变化的感知程度如何？

主要发现

• 该模型仅使用1%的训练数据标注唤醒度，成功学习到高层次特征表征，展现出强大的数据效率。
• 对低水平属性（节奏与音符密度）的‘调音钮’控制实现了良好解耦，并对生成音乐输出呈现线性、连续的影响。
• 通过生成样本的感知一致性验证，模型准确捕捉了唤醒度与其低水平相关特征（节奏与音符密度）之间的内在关系。
• 在主观听觉测试中，81.45%的参与者正确感知到风格迁移后唤醒度变化的方向。
• 节奏、旋律、和声与自然度的平均意见得分分别为3.53、3.39、3.41与3.33，表明迁移后音乐具有中等至良好的感知质量。
• 从高唤醒度到低唤醒度的迁移达成更高的一致性（92.5%），高于从低到高的迁移（70.41%），表明向下转移具有更高的感知清晰度。