[论文解读] What is missing in deep music generation? A study of repetition and structure in popular music

Shuqi Dai, Huiran Yu+1 more|arXiv (Cornell University)|Sep 1, 2022

Music and Audio Processing被引用 5

一句话总结

本文通过对中国和美国流行音乐数据集的数据驱动分析，研究了流行音乐中的结构性重复现象，揭示了真实歌曲依赖分层重复和有限的内部词汇来实现连贯性。研究发现，深度音乐生成模型无法复制这些结构性特征，其生成音乐的熵值更高、重复性更低，远低于人类创作的音乐，暴露了当前生成系统中的关键缺陷。

ABSTRACT

Structure is one of the most essential aspects of music, and music structure is commonly indicated through repetition. However, the nature of repetition and structure in music is still not well understood, especially in the context of music generation, and much remains to be explored with Music Information Retrieval (MIR) techniques. Analyses of two popular music datasets (Chinese and American) illustrate important music construction principles: (1) structure exists at multiple hierarchical levels, (2) songs use repetition and limited vocabulary so that individual songs do not follow general statistics of song collections, (3) structure interacts with rhythm, melody, harmony, and predictability, and (4) over the course of a song, repetition is not random, but follows a general trend as revealed by cross-entropy. These and other findings offer challenges as well as opportunities for deep-learning music generation and suggest new formal music criteria and evaluation methods. Music from recent music generation systems is analyzed and compared to human-composed music in our datasets, often revealing striking differences from a structural perspective.

研究动机与目标

• 通过数据驱动分析，理解重复与分层结构在流行音乐中的作用。
• 识别人类创作音乐与深度学习音乐生成模型输出在结构上的差异。
• 基于重复、词汇量和熵值，建立正式且量化的音乐生成评估标准。
• 挑战深度学习模型能自然从数据中学习长期结构与重复的假设。
• 提出基于音乐信息检索（MIR）原理的新评估方法，用于衡量生成音乐的结构保真度。

提出的方法

• 使用可变阶马尔可夫模型分析两个流行音乐数据集（中文与美国）中的音高与节奏模式，量化重复性与可预测性。
• 通过测量音高序列的交叉熵随时间的变化，评估可预测性趋势，对比真实音乐（POP909）与生成音乐（Music Transformer）的表现。
• 通过统计4小节与8小节乐句中唯一音高模式的数量，量化词汇量，对比真实歌曲、随机样本与VAE生成乐句。
• 使用熵值与交叉熵指标，评估音乐序列的结构连贯性与可预测性。
• 应用分层分析方法，在多个层次（乐句、段落、整首歌曲）检测重复现象，揭示非随机的重复模式。
• 对比最先进模型生成音乐与真实歌曲的结构特征，重点关注重复性、词汇量与可预测性趋势。

实验结果

研究问题

• RQ1 流行音乐中重复性在多个分层结构上如何组织？
• RQ2 与音乐集合中的一般统计分布相比，真实歌曲在多大程度上通过有限的内部词汇与重复来实现连贯性？
• RQ3 像Music Transformer和VAE这样的深度音乐生成模型，在重复性、词汇量与可预测性方面，与人类创作音乐相比如何？
• RQ4 交叉熵在揭示歌曲过程中结构趋势与可预测性方面发挥什么作用？
• RQ5 熵值与词汇量等结构度量能否作为音乐生成系统的正式评估标准？

主要发现

• 真实流行音乐表现出强烈的分层重复特征，重复并非随机，而是随时间呈现非均匀趋势，包括在结构转换处出现的交叉熵暂时上升。
• 与整体数据集预期相比，歌曲使用的内部音高与节奏模式词汇量显著更小，这有助于实现连贯性与独特性。
• Music Transformer生成的音乐在歌曲最后30%的平均交叉熵低于1比特/音符，表明其序列可预测性过高，与真实音乐相比存在偏差。
• VAE生成的乐句中，唯一音高模式数量显著多于真实PDSA乐句（p < 10^-5），表明其冗余性与连贯性低于人类创作音乐。
• 使用内部模式预测歌曲内部乐句的可预测性，高于使用外部训练数据，表明真实歌曲具有强烈的内在不变性与内部结构一致性。
• 真实POP909歌曲中的交叉熵趋势在约20%处与接近结尾时出现暂时上升，可能源于对比或新颖段落，表明人类创作具有结构意识。