[论文解读] QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation

Sicheng Yang, Zhiyong Wu+5 more|arXiv (Cornell University)|May 18, 2023

Hand Gesture Recognition Systems被引用 5

一句话总结

本文提出 QPGesture，一种基于量化和相位引导的运动匹配框架，用于实现自然的语音驱动三维手势生成。通过使用 VQ-VAE 将手势压缩为离散单元，并在语音量化上使用 Levenshtein 距离实现语音-手势对齐，有效减少了抖动并处理了异步问题；相位引导进一步提升了自然度，在 BEAT 数据集上实现了最先进性能，用户研究显示其生成的手势在自然度和恰当性方面表现优异。

ABSTRACT

Speech-driven gesture generation is highly challenging due to the random jitters of human motion. In addition, there is an inherent asynchronous relationship between human speech and gestures. To tackle these challenges, we introduce a novel quantization-based and phase-guided motion-matching framework. Specifically, we first present a gesture VQ-VAE module to learn a codebook to summarize meaningful gesture units. With each code representing a unique gesture, random jittering problems are alleviated effectively. We then use Levenshtein distance to align diverse gestures with different speech. Levenshtein distance based on audio quantization as a similarity metric of corresponding speech of gestures helps match more appropriate gestures with speech, and solves the alignment problem of speech and gestures well. Moreover, we introduce phase to guide the optimal gesture matching based on the semantics of context or rhythm of audio. Phase guides when text-based or speech-based gestures should be performed to make the generated gestures more natural. Extensive experiments show that our method outperforms recent approaches on speech-driven gesture generation. Our code, database, pre-trained models, and demos are available at https://github.com/YoungSeng/QPGesture.

研究动机与目标

• 为解决语音驱动手势生成中的随机运动抖动问题，通过无监督 VQ-VAE 学习离散且有意义的手势单元。
• 通过在语音量化上使用 Levenshtein 距离，解决语音与手势之间固有的异步问题，实现鲁棒的语音-手势对齐。
• 通过引入相位信息引导在基于语音和基于文本的手势候选之间进行最优选择，提升手势的自然度。
• 在 BEAT 基准数据集上实现最先进性能，涵盖定量指标和人类评估。
• 通过在学习到的码书空间中直接操作离散码，实现可控的手势生成。

提出的方法

• 使用 VQ-VAE 模块学习一个离散码书，以表示独特且有意义的手势姿态，减少输入冗余并缓解随机抖动。
• 使用相同的码书对手势进行量化，并在语音量化序列之间计算 Levenshtein 距离，以实现高时间对齐精度的语音-手势匹配。
• 结合文本嵌入生成候选手势，使用余弦相似度衡量文本与语音上下文的相关性。
• 从运动曲线中提取的相位值用于引导在基于语音和基于文本的候选之间选择最优手势，确保节奏和语义一致性。
• 通过融合基于语音和文本的候选并结合相位引导，从码书中选择最佳匹配码，生成最终的手势序列。
• 通过在码书空间中直接操作离散码，支持可控生成，实现目标手势的编辑或合成。

Figure 1 : Gesture examples generated by our proposed method on various types of speech. The character is from Mixamo [ 2 ] .

实验结果

研究问题

• RQ1 学习到的离散码书是否能有效表示有意义的手势单元，并在语音驱动手势生成中减少运动抖动？
• RQ2 与端到端神经网络相比，在语音量化上使用 Levenshtein 距离是否能提升语音与手势之间的时序对齐？
• RQ3 在基于语音和基于文本的手势候选之间采用相位引导选择，是否能提升生成手势的自然度和语义恰当性？
• RQ4 与端到端生成模型相比，所提出的运动匹配框架在手势质量和可控性方面表现如何？
• RQ5 各个组件（语音量化、相位引导、文本匹配）在人类评估和定量指标中的贡献程度如何？

主要发现

• 所提出的 QPGesture 框架在 BEAT 基准数据集中实现了最先进性能，优于近期基于神经网络的模型，在定量指标和人类评估中均表现更优。
• 用户研究表明，自然度和上半身动作恰当性显著提升，完整模型的 MOS 得分与真实手势相当。
• 消融实验表明，若移除语音量化或 Levenshtein 距离，性能明显下降，验证了其在对齐和质量中的关键作用。
• 相位引导提升了手势自然度，表现为与无相位引导对比时 Hellinger 距离和 FGD 分数降低，尽管影响较细微。
• 不使用运动匹配（即使用 GRU 基生成器）的模型相比基于匹配的方法性能显著下降，原始数据空间中 FGD 增加了 107%。
• 该框架通过在序列中替换特定码实现可控手势编辑，展示了在手势操作与解释中的实际应用价值。

Figure 2 : Gesture generation pipeline of our proposed framework. ‘Quan.’ is short for ‘quantization’ and ‘Cand.’ is short for ‘candidate’. Given a piece of audio, text and seed pose, the audio and gesture are quantized. The candidate for the speech is calculated based on the Levenshtein distance, a