[论文解读] TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting

Zhuoqian Yang, Wentao Zhu+5 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Vision and Imaging参考文献 55被引用 7

一句话总结

TransMoMo 提出了一种无监督视频动作重定向方法，通过不变性驱动的损失函数，将2D骨骼序列解耦为运动、结构和视角角度的不变潜在因子。该方法仅在未配对的网络视频上进行训练，无需3D监督，即可在跨不同身体结构和视角的复杂动作迁移任务中实现最先进性能，优于NKN、EDN和LCM等方法，在定量指标和视觉质量上均表现更优。

ABSTRACT

We present a lightweight video motion retargeting approach TransMoMo that is capable of transferring motion of a person in a source video realistically to another video of a target person. Without using any paired data for supervision, the proposed method can be trained in an unsupervised manner by exploiting invariance properties of three orthogonal factors of variation including motion, structure, and view-angle. Specifically, with loss functions carefully derived based on invariance, we train an auto-encoder to disentangle the latent representations of such factors given the source and target video clips. This allows us to selectively transfer motion extracted from the source video seamlessly to the target video in spite of structural and view-angle disparities between the source and the target. The relaxed assumption of paired data allows our method to be trained on a vast amount of videos needless of manual annotation of source-target pairing, leading to improved robustness against large structural variations and extreme motion in videos. We demonstrate the effectiveness of our method over the state-of-the-art methods. Code, model and data are publicly available on our project page (https://yzhq97.github.io/transmomo).

研究动机与目标

• 在无需配对训练数据的情况下，实现跨具有显著结构和视角差异个体的逼真视频动作重定向。
• 解决在2D空间中学习动作迁移的挑战，而不依赖3D姿态估计或配对的动作-骨骼标注。
• 通过利用时间序列中的不变性特性，提升对极端动作和未见身体类型的一般化与鲁棒性。
• 在大量未经筛选的真实世界视频数据上端到端训练轻量级、即插即用的模块，提升数据效率与可扩展性。

提出的方法

• 该方法将动作重定向分解为三个阶段：2D骨骼提取、在骨骼序列上进行动作重定向，以及使用图像翻译技术将骨骼转换为视频。
• 采用自编码器架构，通过不变性约束将潜在表征解耦为正交因子：运动、结构和视角角度。
• 推导出不变性驱动的损失函数，以确保运动在结构和视角变化下保持不变，结构在视角偏移下保持不变，视角角度在结构变化下保持不变。
• 框架使用交叉重建损失、三元组损失和对抗性损失，以确保解耦效果并生成逼真的新视角序列。
• 引入肢体缩放数据增强策略，以模拟多样化的身体结构，提升对极端体型的泛化能力。
• 模型在未配对的真实世界视频上端到端训练，实现无监督学习，无需3D监督或动作-骨骼配对。

实验结果

研究问题

• RQ1 是否可以在不依赖3D姿态估计或配对数据的情况下，在2D空间中有效学习动作重定向？
• RQ2 如何利用运动、结构和视角角度之间的不变性，实现在视频序列中的无监督解耦？
• RQ3 在未经筛选的真实世界视频上训练的模型，是否能比在合成配对数据上训练的监督模型泛化得更好？
• RQ4 各损失组件（交叉重建、三元组、对抗性）对最终解耦效果和生成质量的贡献分别是什么？

主要发现

• 所提方法在Mixamo数据集上实现了最低的关节点位置误差（MSE: 0.0131，MAE: 0.0673），优于NKN、EDN和LCM。
• 仅在真实世界数据（Solo-Dancer Dataset）上训练的模型取得了最低误差，证明了多样化真实运动数据的优势。
• 消融实验表明，若移除交叉重建损失，MSE增加超过100%，凸显其在解耦中的关键作用。
• 三元组损失对解耦有显著贡献，移除后MSE增加16%；对抗性损失则提升了视觉真实感，但对指标分数影响较小。
• 肢体缩放增强机制提升了对极端身体结构的泛化能力，使模型在多样且未见的身体类型上表现稳健。
• 由于在高多样性真实世界视频上进行训练，该方法在复杂极端动作上泛化良好，而监督方法受限于合成动作数据集，泛化能力较弱。