[论文解读] Style Imitation and Chord Invention in Polyphonic Music with Exponential Families

Gaëtan Hadjeres, Jason Sakellariou+1 more|arXiv (Cornell University)|Sep 16, 2016

Music and Audio Processing参考文献 24被引用 15

一句话总结

本文提出了一种基于指数族的最大熵模型，用于多声部音乐生成，该模型可学习跨声部的成对音符相关性，从而在无需先验音乐知识的情况下实现风格模仿和新颖和弦的创造。该模型通过用户自定义的一元约束实现高度灵活性，并通过在巴赫颂歌中生成和声一致且前所未见的和弦，展示了强大的泛化能力。

ABSTRACT

Modeling polyphonic music is a particularly challenging task because of the intricate interplay between melody and harmony. A good model should satisfy three requirements: statistical accuracy (capturing faithfully the statistics of correlations at various ranges, horizontally and vertically), flexibility (coping with arbitrary user constraints), and generalization capacity (inventing new material, while staying in the style of the training corpus). Models proposed so far fail on at least one of these requirements. We propose a statistical model of polyphonic music, based on the maximum entropy principle. This model is able to learn and reproduce pairwise statistics between neighboring note events in a given corpus. The model is also able to invent new chords and to harmonize unknown melodies. We evaluate the invention capacity of the model by assessing the amount of cited, re-discovered, and invented chords on a corpus of Bach chorales. We discuss how the model enables the user to specify and enforce user-defined constraints, which makes it useful for style-based, interactive music generation.

研究动机与目标

• 开发一种用于多声部音乐的统计模型，以捕捉横向和纵向的音符相关性，且不依赖于专家音乐知识。
• 实现对训练数据中未出现的新颖、风格一致的和弦的生成，从而展示超越复制的泛化能力。
• 通过允许对单个声部施加任意用户自定义的一元约束，支持灵活的交互式音乐生成。
• 即使在小规模语料上也能实现快速且可扩展的生成，克服深度学习模型对大规模数据集依赖的局限性。
• 通过引入与位置相关的参数，将节奏模式纳入模型，同时保持二元相互作用的平移不变性。

提出的方法

• 该模型基于最大熵原理，以指数族形式构建，其特征基于跨声部相邻音符事件的成对共现。
• 采用专家产品框架，其中每个声部贡献一个一元势能，声部间的依赖关系通过二元成对相互作用进行建模。
• 使用L1正则化的最大似然估计进行训练，以促进稀疏性并防止过拟合，尤其是在小规模语料上。
• 通过在节拍时间窗（如八分音符划分）上引入与位置相关的自定义参数，将节奏模式纳入模型，同时保持二元参数的平移不变性。
• 在音高字母表中增加两个额外符号：一个用于休止符，一个用于持续音符，以支持时值建模和节奏一致性。
• 通过吉布斯采样或贪婪搜索进行生成，用户约束通过在特定音符或声部上施加一元势能来强制执行。

实验结果

研究问题

• RQ1 纯粹基于统计、无偏见的模型是否能无需先验音乐理论知识，学习并再现多声部音乐中的复杂和声与旋律结构？
• RQ2 此类模型在多大程度上能创造训练数据中未出现的新颖、和声有效的和弦？
• RQ3 该模型在生成过程中对用户自定义约束的强制执行效率如何？
• RQ4 该模型是否能超越训练数据，生成音乐上连贯且风格一致的序列？
• RQ5 节奏结构的引入在多大程度上影响了模型生成逼真多声部音乐的能力？

主要发现

• 该模型成功生成了训练语料中未出现的新和弦，展示了在巴赫颂歌中显著的和弦创造能力。
• 在巴赫颂歌语料上，该模型重新发现了92%的 cited 和弦，并生成了8%的新和弦，表明其具有强大的泛化能力和风格保真度。
• 该模型通过成对相互作用有效捕捉了长程的横向与纵向相关性，保持了高统计准确性。
• 用户自定义的一元约束可在生成过程中高效强制执行，从而支持交互式和约束驱动的音乐创作。
• 引入与位置相关的自定义参数后，即使基础模型具有平移不变性，也能自然涌现出与原始语料一致的节奏模式。
• 该模型在小规模语料上实现了快速生成和稳健性能，在灵活性和可解释性方面优于深度学习基线模型。