[论文解读] TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts

Chuan Guo, Xinxin Xuo+2 more|arXiv (Cornell University)|Jul 4, 2022

Human Pose and Action Recognition被引用 7

一句话总结

该论文提出TM2T，一种用于3D人体动作与文本之间双向生成的随机化、分词化框架。通过引入动作标记——3D姿态的离散、紧凑表示——并结合神经机器翻译（NMT）与逆对齐机制，该方法实现了从文本生成多样化、语义忠实且长度可变的3D动作，且在两个基准数据集上均实现了文本到动作与动作到文本任务的最先进性能。

ABSTRACT

Inspired by the strong ties between vision and language, the two intimate human sensing and communication modalities, our paper aims to explore the generation of 3D human full-body motions from texts, as well as its reciprocal task, shorthanded for text2motion and motion2text, respectively. To tackle the existing challenges, especially to enable the generation of multiple distinct motions from the same text, and to avoid the undesirable production of trivial motionless pose sequences, we propose the use of motion token, a discrete and compact motion representation. This provides one level playing ground when considering both motions and text signals, as the motion and text tokens, respectively. Moreover, our motion2text module is integrated into the inverse alignment process of our text2motion training pipeline, where a significant deviation of synthesized text from the input text would be penalized by a large training loss; empirically this is shown to effectively improve performance. Finally, the mappings in-between the two modalities of motions and texts are facilitated by adapting the neural model for machine translation (NMT) to our context. This autoregressive modeling of the distribution over discrete motion tokens further enables non-deterministic production of pose sequences, of variable lengths, from an input text. Our approach is flexible, could be used for both text2motion and motion2text tasks. Empirical evaluations on two benchmark datasets demonstrate the superior performance of our approach on both tasks over a variety of state-of-the-art methods. Project page: https://ericguo5513.github.io/TM2T/

研究动机与目标

• 为解决从文本生成3D动作时存在的确定性、静态或多样性不足的局限性，特别是缺乏风格与长度变化的问题。
• 实现3D人体动作与自然语言之间的相互生成，支持文本到动作与动作到文本两种任务。
• 通过引入紧凑且语义丰富的动作标记表示，克服原始3D姿态序列的冗余性与表达能力差的问题。
• 通过在训练流程中引入动作到文本模块并采用逆对齐策略，提升文本到动作生成的语义忠实度。

提出的方法

• 通过3D姿态序列的深度向量量化学习动作标记，将动作表示为码本索引的离散序列。
• 适配神经机器翻译（NMT）模型，以学习动作标记序列与文本标记序列之间的双向映射。
• 在文本到动作的训练流程中，引入动作到文本模块作为逆对齐损失，惩罚生成动作与输入文本之间的偏差。
• 通过从学习到的动作标记分布中采样，实现非确定性生成，从而支持长度可变且多样化的动作输出。
• 框架采用共享的NMT架构实现文本到动作与动作到文本任务，确保任务间的一致性与灵活性。
• 通过全身体3D姿态序列训练动作标记码本，以捕捉局部时空运动动态。

实验结果

研究问题

• RQ1 离散且紧凑的动作表示是否能提升从文本生成3D动作的多样性与质量？
• RQ2 通过逆对齐机制将动作到文本模块集成到文本到动作训练过程中，对语义忠实度与性能有何影响？
• RQ3 基于共享NMT架构在多大程度上能实现高质量、双向的3D人体动作与自然语言生成？
• RQ4 动作标记是否能有效建模局部运动动态，同时支持非确定性、长度可变的动作生成？
• RQ5 与确定性及非学习型动作表示基线方法相比，该方法在多样性与语义准确性方面表现如何？

主要发现

• 所提出的TM2T框架在两个基准数据集上均实现了文本到动作与动作到文本任务的最先进性能，优于现有方法。
• 在HumanML3D数据集上，逆对齐策略使检索精度的top-1与top-3分别提升了近7%与10%。
• 该方法能从同一文本输入生成多样化、视觉上合理的3D动作，且长度可变，避免生成静态或平凡的姿态序列。
• 动作标记在有效压缩3D姿态的同时，保留了语义与动态内容，实现了高效的基于NMT的跨模态映射。
• 在NVIDIA 2080Ti上，生成300个动作的推理时间为9秒，优于较慢的基线方法（如Text2Gesture为250秒，Hier为39秒）。
• 视觉对比显示，TM2T生成的动作在捕捉语义细节（如“右腿”、“过头顶”）方面优于确定性基线方法Hier [11]。