[论文解读] Weakly Supervised Deep Recurrent Neural Networks for Basic Dance Step Generation

Nelson Yalta, Shinji Watanabe+2 more|arXiv (Cornell University)|Jul 3, 2018

Human Motion and Animation参考文献 24被引用 7

一句话总结

本文提出了一种弱监督的深度循环神经网络，通过将音频能量谱作为输入，生成与音乐同步的基本舞蹈动作。通过采用多层LSTM结合自条件解码和对比损失函数进行节拍对齐，该模型实现了较低的交叉熵（1.41）和与人类舞者相当的F-measure分数，支持仅需极少手工标注数据的实时端到端训练。

ABSTRACT

Synthesizing human's movements such as dancing is a flourishing research field which has several applications in computer graphics. Recent studies have demonstrated the advantages of deep neural networks (DNNs) for achieving remarkable performance in motion and music tasks with little effort for feature pre-processing. However, applying DNNs for generating dance to a piece of music is nevertheless challenging, because of 1) DNNs need to generate large sequences while mapping the music input, 2) the DNN needs to constraint the motion beat to the music, and 3) DNNs require a considerable amount of hand-crafted data. In this study, we propose a weakly supervised deep recurrent method for real-time basic dance generation with audio power spectrum as input. The proposed model employs convolutional layers and a multilayered Long Short-Term memory (LSTM) to process the audio input. Then, another deep LSTM layer decodes the target dance sequence. Notably, this end-to-end approach has 1) an auto-conditioned decode configuration that reduces accumulation of feedback error of large dance sequence, 2) uses a contrastive cost function to regulate the mapping between the music and motion beat, and 3) trains with weak labels generated from the motion beat, reducing the amount of hand-crafted data. We evaluate the proposed network based on i) the similarities between generated and the baseline dancer motion with a cross entropy measure for large dance sequences, and ii) accurate timing between the music and motion beat with an F-measure. Experimental results revealed that, after training using a small dataset, the model generates basic dance steps with low cross entropy and maintains an F-measure score similar to that of a baseline dancer.

研究动机与目标

• 解决使用深度学习在极少标注数据下生成长时序、节拍同步舞蹈序列的挑战。
• 通过利用从运动方向变化中提取的弱标签，减少对昂贵手工标注运动数据的依赖。
• 通过对比损失函数学习序列音频帧中的节拍时间，提升音乐与动作节拍之间的对齐精度。
• 实现实时舞蹈生成，推理延迟极低（≈12 ms），并实现从原始音频输入开始的端到端训练。
• 在有限训练数据下，展示对音频噪声的鲁棒性，并在多种音乐类型中具备良好的泛化能力。

提出的方法

• 采用双分支架构：先通过卷积层减少音频能量谱中的频率变化，再通过多层LSTM编码时间音频特征。
• 使用自条件解码LSTM，将自身输出反馈以生成长序列舞蹈动作，从而最小化误差累积。
• 应用对比损失函数，通过最大化非节拍帧之间的距离并最小化节拍帧之间的距离，调节音乐与动作节拍的对齐。
• 利用运动方向变化生成弱标签，避免对显式节拍标注的依赖。
• 仅使用音频输入和弱标注的动作节拍端到端训练整个模型，支持从零开始训练而无需预训练。
• 在训练过程中同时优化运动相似性（通过交叉熵）和节拍时间准确性（通过F-measure）。

Figure 1: Framework.

实验结果

研究问题

• RQ1 弱监督的深度循环模型能否仅使用音频能量谱和运动方向作为弱标签，生成逼真且节拍同步的舞蹈动作？
• RQ2 自条件解码LSTM在长序列舞蹈动作生成过程中，对减少误差累积的效率如何？
• RQ3 与标准均方误差相比，对比损失函数在提升音乐节拍与动作节拍对齐方面有多大改进？
• RQ4 在有限训练数据下，该模型在多种音乐类型和噪声音频输入下的表现如何？
• RQ5 该模型能否在保持高运动相似性和节拍准确性的同时实现实时推理性能？

主要发现

• 在萨尔萨舞数据集上，S2S-MC模型的F-measure达到53.96，在说唱舞数据集上达到53.79，优于基线舞者模型（分别为52.82和62.31），在干净条件下表现更优。
• 在弹跳数据集上，S2S-MC模型的交叉熵为1.41，显著低于S2S模型的1.98，表明其与真实动作序列的相似度更高。
• 该模型对噪声具有鲁棒性，在训练数据相似的干净与噪声音乐输入下均保持相对稳定的性能。
• 尽管在训练过的音乐类型上表现强劲，但当在未见过的音乐曲目上测试时，其F-measure下降至接近一半，表明对未见音乐的泛化能力有限。
• 该模型实现了实时推理，前向传播时间约为12 ms，适用于实时应用。
• 对比损失函数显著改善了节拍对齐效果，S2S-MC在所有测试条件下均优于S2S，尤其在噪声环境中表现更优。

Figure 2: Auto-conditioned decoder.