[论文解读] Music Composition with Deep Learning: A Review

Carlos Hernandez-Olivan, Jose R. Beltran|arXiv (Cornell University)|Aug 27, 2021

Music Technology and Sound Studies被引用 4

一句话总结

本文综述了深度学习（DL）在音乐创作中的应用，通过分析变自编码器（VAEs）、生成对抗网络（GANs）、长短期记忆网络（LSTMs）和Transformer等模型的架构，比较了AI生成音乐与人类创造力的异同。研究识别出结构连贯性、创造力评估和风格泛化等关键挑战，并倡导未来研究应采用改进的主观评价指标以及交互式、端到端的模型。

ABSTRACT

Generating a complex work of art such as a musical composition requires exhibiting true creativity that depends on a variety of factors that are related to the hierarchy of musical language. Music generation have been faced with Algorithmic methods and recently, with Deep Learning models that are being used in other fields such as Computer Vision. In this paper we want to put into context the existing relationships between AI-based music composition models and human musical composition and creativity processes. We give an overview of the recent Deep Learning models for music composition and we compare these models to the music composition process from a theoretical point of view. We have tried to answer some of the most relevant open questions for this task by analyzing the ability of current Deep Learning models to generate music with creativity or the similarity between AI and human composition processes, among others.

研究动机与目标

• 分析基于人工智能的音乐生成与人类作曲创造力之间的关系。
• 评估深度学习架构（如VAEs、GANs、LSTMs和Transformers）在生成音乐上下的连贯性与创造力方面的有效性。
• 识别音乐生成中的开放性挑战，包括结构连贯性、创造力评估以及跨音乐风格的泛化能力。
• 探讨现有数据集的局限性，以及在深度学习模型中改进迁移学习与风格控制的必要性。
• 提出未来研究方向，包括人机交互式协作与端到端音乐生成系统。

提出的方法

• 调研了音乐生成领域最先进的深度学习模型，重点关注VAEs、GANs、LSTMs和Transformers。
• 分析了诸如VAEs中的潜在空间学习、GANs中的对抗训练以及Transformers中的注意力机制等架构组件。
• 使用客观指标（如对数似然、n-gram准确率）和主观听感测试相结合的方式评估模型性能。
• 讨论了利用预训练自然语言处理模型（如Transformers）进行微调以适应符号化音乐数据的迁移学习策略。
• 提出采用标准化的主观评价框架（如MuseGAN的基于特征的评分系统）以提升人类评价的一致性。
• 探讨了影响长期音乐结构与和声建模的架构与训练设计选择。

实验结果

研究问题

• RQ1 当前的深度学习模型在多大程度上能够生成在结构连贯性与和声复杂性方面可与人类作品相媲美的音乐？
• RQ2 VAEs、GANs、LSTMs和Transformers的设计选择如何影响生成音乐的创造力与多样性？
• RQ3 现有评估方法在衡量AI生成音乐的创造力与质量方面存在哪些局限性？
• RQ4 如何改进迁移学习与风格控制，以实现超越现有数据集中最常见音乐流派的泛化能力？
• RQ5 交互式人机协作模型在推动音乐生成向端到端、创造性作曲方向发展方面可发挥何种作用？

主要发现

• Transformers及受自然语言处理启发的架构在音乐生成中表现优异，因其能够有效建模符号化音乐序列中的长距离依赖关系。
• VAEs与GANs在学习音乐特征的解耦且有意义的潜在表征方面展现出潜力，但通常在长期连贯性方面表现不佳。
• 当前的客观评估指标在不同研究中缺乏一致性，且尚未建立统一的主观评估标准，限制了可比性。
• 听感测试仍是评估音乐感知质量的主要方法，但往往无法捕捉音乐创造力与结构的细微特征。
• 在有限数据集（如JSB Chorales、Lakh MIDI）上训练的模型在向代表性不足的音乐流派与风格泛化时表现较差，凸显了多样化训练数据与更优迁移学习方法的必要性。
• 未来模型应聚焦于端到端生成与交互式设计，使作曲家能够与AI协同创作，同时保持艺术控制力与原创性。