[论文解读] SignDiff: Diffusion Model for American Sign Language Production

Sen Fang, Chunyu Sui+5 more|arXiv (Cornell University)|Aug 30, 2023

Hand Gesture Recognition Systems被引用 6

一句话总结

本文提出 SignDiff，一种基于扩散模型的端到端美国手语（ASL）视频生成方法，通过引入一种新颖的帧强化网络（FR-Net）提升姿态准确性并减少手指伪影。该方法在 How2Sign 数据集上取得 17.19 的 BLEU-4 分数和 84.9% 的 SSIM，显著优于先前方法，在图像质量和手势保真度方面达到最先进水平。

ABSTRACT

In this paper, we propose a dual-condition diffusion pre-training model named SignDiff that can generate human sign language speakers from a skeleton pose. SignDiff has a novel Frame Reinforcement Network called FR-Net, similar to dense human pose estimation work, which enhances the correspondence between text lexical symbols and sign language dense pose frames, reduces the occurrence of multiple fingers in the diffusion model. In addition, we propose a new method for American Sign Language Production (ASLP), which can generate ASL skeletal pose videos from text input, integrating two new improved modules and a new loss function to improve the accuracy and quality of sign language skeletal posture and enhance the ability of the model to train on large-scale data. We propose the first baseline for ASL production and report the scores of 17.19 and 12.85 on BLEU-4 on the How2Sign dev/test sets. We evaluated our model on the previous mainstream dataset PHOENIX14T, and the experiments achieved the SOTA results. In addition, our image quality far exceeds all previous results by 10 percentage points in terms of SSIM.

研究动机与目标

• 为连续美国手语生成（ASLP）缺乏大规模、预训练的深度学习模型提供解决方案。
• 在 How2Sign 数据集上，利用扩散模型实现端到端的文本到手语视频生成，该数据集因复杂性而此前未被充分使用。
• 通过减少如多根手指等伪影并提升骨骼姿态准确性，提升手语生成质量。
• 基于大规模、高质量数据和基于扩散的架构，建立首个全面的 ASL 生成基线。
• 通过新型模块和自定义损失函数，提升训练效率和模型稳定性。

提出的方法

• 提出 SignDiff，一种双条件扩散模型，同时基于文本和姿态嵌入生成 3D 人体手语视频。
• 引入帧强化网络（FR-Net），一种受密集人体姿态估计启发的新组件，用于增强词汇符号与密集姿态帧之间的对应关系。
• 采用结合感知损失、关键点损失和对抗性损失的新损失函数，以提升骨骼姿态准确性并减少手指伪影。
• 利用姿态条件的人体生成头，从预测的骨骼序列生成逼真的手语视频。
• 通过对 How2Sign 数据集进行大量预处理和数据增强，支持大规模训练。
• 集成手部姿态增强模块与多尺度特征精炼模块，以提升局部手部细节和全局运动一致性。

实验结果

研究问题

• RQ1 基于扩散模型能否实现从文本输入生成高保真、连续的 ASL 视频，同时提升姿态准确性并减少伪影？
• RQ2 所提出的帧强化网络（FR-Net）在手语生成中如何增强文本与密集姿态帧之间的对应关系？
• RQ3 新损失函数和辅助模块对手语视频生成质量与稳定性有何影响？
• RQ4 在 How2Sign 和 PHOENIX14T 数据集上，SignDiff 在 BLEU、SSIM、FID 和 DTW 指标上与现有 SOTA 模型相比表现如何？
• RQ5 FR-Net 在不降低性能的前提下，能在多大程度上提升训练效率和收敛速度？

主要发现

• SignDiff 在 How2Sign 开发集上取得 17.19 的 BLEU-4 分数，在测试集上为 12.85，首次建立了 ASL 生成的强基线。
• 模型达到 84.9% 的 SSIM 和 67.6% 的 Hand SSIM，图像质量超过所有先前方法超过 10 个百分点。
• 引入 FR-Net 后，手部姿态误差降低至 20.04，显著优于基线的 23.09。
• 消融实验表明，FR-Net 同时提升了图像质量和 DTW 性能，表明与真实序列的对齐性更好。
• 定性结果表明，SignDiff 在手势准确性和手指细节之间取得了更好平衡，优于 Stable Diffusion（准确但模糊）或卡通风格模型（细节丰富但不精确）。
• 模型在 PHOENIX14T 上实现 SOTA 性能，表明尽管仅在 How2Sign 上训练，仍具备强大的跨数据集泛化能力。