[论文解读] Music2Dance: DanceNet for Music-driven Dance Generation

Wenlin Zhuang, Cong‐Yi Wang+3 more|arXiv (Cornell University)|Feb 2, 2020

Human Motion and Animation被引用 8

一句话总结

本文提出DanceNet，一种新颖的自回归生成模型，通过使用音乐风格、节奏和旋律作为控制信号，合成逼真、多样且与音乐一致的3D舞蹈动作。该方法采用空洞卷积、门控激活、音乐上下文感知编码器以及高斯混合模型（GMM）损失函数，以提升动作质量与多样性，在新收集的高质量音乐-舞蹈配对数据集上取得了最先进性能。

ABSTRACT

Synthesize human motions from music, i.e., music to dance, is appealing and attracts lots of research interests in recent years. It is challenging due to not only the requirement of realistic and complex human motions for dance, but more importantly, the synthesized motions should be consistent with the style, rhythm and melody of the music. In this paper, we propose a novel autoregressive generative model, DanceNet, to take the style, rhythm and melody of music as the control signals to generate 3D dance motions with high realism and diversity. To boost the performance of our proposed model, we capture several synchronized music-dance pairs by professional dancers, and build a high-quality music-dance pair dataset. Experiments have demonstrated that the proposed method can achieve the state-of-the-art results.

研究动机与目标

• 解决从音乐生成逼真、多样且与音乐一致的3D舞蹈动作的挑战。
• 克服现有RNN与卷积模型在处理复杂、不规则舞蹈序列时的局限性。
• 通过引入新型损失函数与动作表示，提升模型的鲁棒性与多样性。
• 构建高质量、同步的音乐-舞蹈配对数据集，以支持训练与评估。
• 实现单一统一模型端到端生成不同类型的舞蹈。

提出的方法

• DanceNet采用自回归架构结合空洞卷积，以扩展感受野而不增加网络深度。
• 引入门控激活单元，以增强对复杂与不规则舞蹈动作的建模能力。
• 音乐上下文感知编码器处理原始音乐特征（起音、节拍、音高），生成平滑且上下文感知的控制信号。
• 在动作表示中显式包含末端执行器位置与脚部接触状态，以减少误差累积并提升真实感。
• 采用高斯混合模型（GMM）损失替代MSE损失，以建模动作分布，实现在推理阶段的多样化采样。
• 训练过程中向真实动作添加高斯噪声，以提升模型鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 深度生成模型能否生成与音乐同步、逼真且多样的3D舞蹈动作？
• RQ2 使用音乐特征（起音、节拍、音高）与使用原始梅尔频谱图相比，在控制舞蹈生成方面有何差异？
• RQ3 音乐上下文感知编码器对动作真实感与多样性有何影响？
• RQ4 在动作表示中引入末端执行器位置对动作质量与稳定性有何影响？
• RQ5 GMM损失是否在生成多样且逼真的舞蹈序列方面优于MSE损失？

主要发现

• 与使用梅尔频谱图相比，使用音乐特征（起音、节拍、音高）时，模型生成的舞蹈动作显著更富多样性且与音乐更一致，而后者会产生僵硬且抖动的输出。
• 音乐上下文感知编码器通过生成平滑的控制信号，提升了动作的真实感与多样性，减轻了原始音乐特征中噪声的负面影响。
• 在动作表示中引入末端执行器位置可提升动作多样性并减少误差累积，尤其在肢体轨迹方面效果显著。
• GMM损失使模型能够从预测均值附近的分布中采样，与MSE损失相比显著增强了多样性；后者往往导致输出过度平滑且缺乏变化。
• 该模型在新收集的高质量音乐-舞蹈配对数据集上达到了最先进性能，证明其在生成逼真且风格一致的3D舞蹈序列方面的有效性。
• 定性结果表明，DanceNet可从同一模型生成现代舞与库尔蒂勒吉舞等不同舞蹈类型，显示出强大的泛化能力与可控性。