[论文解读] PISEP^2: Pseudo Image Sequence Evolution based 3D Pose Prediction

Xiaoli Liu, Jianqin Yin+2 more|arXiv (Cornell University)|Sep 4, 2019

Human Pose and Action Recognition参考文献 63被引用 5

一句话总结

该论文提出 PISEP²，一种新颖的 3D 姿态预测框架，通过将 3D 关节坐标序列转换为伪图像序列，分别建模空间与时间相关性。通过采用非递归、解耦的解码器架构，该方法在 G3D 和 FNTU 数据集上实现了最先进性能，同时减少了误差累积并提升了计算效率。

ABSTRACT

Pose prediction is to predict future poses given a window of previous poses. In this paper, we propose a new problem that predicts poses using 3D joint coordinate sequences. Different from the traditional pose prediction based on Mocap frames, this problem is convenient to use in real applications due to its simple sensors to capture data. We also present a new framework, PISEP^2 (Pseudo Image Sequence Evolution based 3D Pose Prediction), to address this new problem. Specifically, a skeletal representation is proposed by transforming the joint coordinate sequence into an image sequence, which can model the different correlations of different joints. With this image based skeletal representation, we model the pose prediction as the evolution of image sequence. Moreover, a novel inference network is proposed to predict all future poses in one step by decoupling the decoders in a non-recursive manner. Compared with the recursive sequence to sequence model, we can improve the computational efficiency and avoid error accumulation significantly. Extensive experiments are carried out on two benchmark datasets (e.g. G3D and FNTU). The proposed method achieves the state-of-the-art performance on both datasets, which demonstrates the effectiveness of our proposed method.

研究动机与目标

• 为解决使用低成本、易获取的 3D 关节坐标序列而非昂贵的动捕数据进行 3D 姿态预测的挑战。
• 通过在骨骼表示中解耦空间与时间信息，对人类运动的复杂时空动态进行建模。
• 克服递归序列到序列模型在长时序姿态预测中存在误差累积和高计算成本的局限性。
• 开发一种非递归、一步推理框架，一次性预测所有未来姿态。
• 在未见序列上提升姿态预测的泛化能力与视觉合理性。

提出的方法

• 将 3D 关节坐标序列转换为伪图像序列，以分离空间与时间维度的方式表示骨骼数据。
• 设计一种骨骼表示方法，将身体部位（如四肢和躯干）分组，以建模组内相关性与组间分离性。
• 采用双分支 CNN 架构，通过独立的空间与时间模块，分别建模空间结构与时间演化。
• 引入一种非递归、解耦的解码器结构，通过单次前向传播一次性预测所有未来帧，避免误差传播。
• 在中间层（m/2）采用多尺度时间建模策略，以捕捉序列中的全局运动趋势。
• 在未见数据上进行微调，以提升模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 伪图像序列表示能否有效建模 3D 人体姿态序列中的空间与时间相关性？
• RQ2 与联合建模相比，解耦空间与时间建模是否能提升姿态预测的准确性？
• RQ3 非递归、一步预测框架在准确率与效率方面是否优于递归序列到序列模型？
• RQ4 所提方法在未见运动序列上的泛化能力如何？
• RQ5 时空解耦对长时序姿态预测中误差累积的影响如何？

主要发现

• PISEP² 在 G3D 和 FNTU 基准数据集上均达到最先进性能，优于现有方法（包括 PredCNN 和 S-TE）。
• 由于采用非递归、一步预测机制，模型显著减少了误差累积，可视化结果表明其长期运动方向更加一致。
• 可视化显示，PISEP² 生成的姿态序列比 PredCNN 和 S-TE 更具合理性与准确性，尤其在长时序预测中表现更优。
• 微调后，PISEP² 在未见数据上展现出更优的泛化能力，预测姿态在运动方向与结构上均与真实值高度吻合。
• 通过在 m/2 层建模运动，该方法有效捕捉了全局时间演化，增强了长程依赖学习能力。
• 与 S-TE 等方法将空间与时间特征同等对待相比，解耦的空间-时间建模带来了更优的性能表现。