[论文解读] Music2Dance: Music-driven Dance Generation using WaveNet.

Wenlin Zhuang, Cong‐Yi Wang+3 more|arXiv (Cornell University)|Feb 2, 2020

Human Motion and Animation参考文献 30被引用 20

一句话总结

本文提出 DanceNet，一种基于 WaveNet 的自回归模型，能够根据音乐的风格、节奏和旋律生成高保真度且多样的 3D 舞蹈动作。通过利用从专业舞者收集的新颖高质量同步音乐-舞蹈配对数据集，该方法在音乐驱动的舞蹈生成任务中达到了最先进性能。

ABSTRACT

Synthesize human motions from music, i.e., music to dance, is appealing and attracts lots of research interests in recent years. It is challenging due to not only the requirement of realistic and complex human motions for dance, but more importantly, the synthesized motions should be consistent with the style, rhythm and melody of the music. In this paper, we propose a novel autoregressive generative model, DanceNet, to take the style, rhythm and melody of music as the control signals to generate 3D dance motions with high realism and diversity. To boost the performance of our proposed model, we capture several synchronized music-dance pairs by professional dancers, and build a high-quality music-dance pair dataset. Experiments have demonstrated that the proposed method can achieve the state-of-the-art results.

研究动机与目标

• 解决从音乐生成逼真且节奏一致的 3D 舞蹈动作的挑战。
• 克服将复杂人体动作与音乐元素（如旋律和节拍）对齐的困难。
• 开发一种生成模型，确保合成舞蹈序列的多样性和高保真度。
• 构建一个高质量的同步音乐-舞蹈配对数据集，以支持训练与评估。

提出的方法

• 设计一种自回归生成模型 DanceNet，逐步生成 3D 舞蹈动作序列。
• 将生成过程以从音频中提取的风格、节奏和旋律等音乐特征作为条件。
• 利用 WaveNet 架构建模动作序列中的长程时间依赖关系。
• 在从专业舞者收集的新颖同步音乐-舞蹈配对数据集上端到端训练模型。
• 采用分层动作表示以提升建模效率与动作质量。
• 将音乐嵌入作为控制信号，以音乐语义引导生成过程。

实验结果

研究问题

• RQ1 基于音乐特征条件的自回归模型能否生成逼真且多样的 3D 舞蹈动作？
• RQ2 该模型在多大程度上能将生成的舞蹈动作与输入音乐的节奏和旋律对齐？
• RQ3 训练数据的质量在多大程度上影响生成动作的逼真度与多样性？
• RQ4 所提出的模型是否在音乐驱动的舞蹈生成任务中优于现有最先进方法？

主要发现

• 所提出的 DanceNet 模型在音乐驱动的 3D 舞蹈生成任务中达到最先进性能。
• 该模型生成的舞蹈动作高度逼真且多样，且与输入音乐在时间上保持对齐。
• 使用专业收集的音乐-舞蹈数据集显著提升了动作质量与一致性。
• 采用自回归设计结合 WaveNet 使得高保真度动作生成具备强大的时间连贯性。