[论文解读] Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks

Yumeng Zhang, Gaoguo Jia+3 more|arXiv (Cornell University)|Sep 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 4

一句话总结

本文提出一种基于生成对抗网络（GAN）生成的动态图像的自步视频数据增强方法，以在数据不足的情况下提升视频分类性能。通过将运动信息压缩为静态图像，GAN 生成高质量、类别特定的动态图像，自步选择（SPS）策略仅筛选最可靠的样本，使 HMDB4* 和 UCF4* 数据集上少数类别的准确率最高提升 7.2%。

ABSTRACT

There is an urgent need for an effective video classification method by means of a small number of samples. The deficiency of samples could be effectively alleviated by generating samples through Generative Adversarial Networks (GAN), but the generation of videos on a typical category remains to be underexplored since the complex actions and the changeable viewpoints are difficult to simulate. In this paper, we propose a generative data augmentation method for temporal stream of the Temporal Segment Networks with the dynamic image. The dynamic image compresses the motion information of video into a still image, removing the interference factors such as the background. Thus it is easier to generate images with categorical motion information using GAN. We use the generated dynamic images to enhance the features, with regularization achieved as well, thereby to achieve the effect of video augmentation. In order to deal with the uneven quality of generated images, we propose a Self-Paced Selection (SPS) method, which automatically selects the high-quality generated samples to be added to the network training. Our method is verified on two benchmark datasets, HMDB51 and UCF101. The experimental results show that the method can improve the accuracy of video classification under the circumstance of sample insufficiency and sample imbalance.

研究动机与目标

• 解决在数据不足和类别不平衡情况下，尤其是罕见或少数动作类别下的视频分类挑战。
• 克服现有基于 GAN 的视频生成方法在复杂动作和可变视角下表现不佳的问题，因其对内存和计算资源需求过高。
• 开发一种可扩展、模块化的数据增强框架，提升时序流网络性能，而无需生成完整视频。
• 通过使用 GAN 生成的动态图像作为正则化项，改善特征学习，缓解少样本学习中的过拟合问题。
• 通过生成保留关键运动语义但过滤低质量、噪声输出的合成样本，实现在不平衡数据集上的有效训练。

提出的方法

• 通过秩池化方法将视频运动压缩为单张静态图像，去除静态背景，保留运动线索，生成动态图像。
• 在从视频片段中稀疏采样获得的大规模动态图像数据集上训练 GAN，实现高效生成具有运动语义的图像。
• 应用自步选择（SPS）策略，根据样本的类别可区分性动态识别并选择高质量的生成样本。
• 在多个训练阶段将选定的合成动态图像逐步引入训练集，逐步增加增强样本数量。
• 以时序段网络（TSN）的时序流作为主干网络，利用生成的动态图像提升特征学习与决策边界泛化能力。
• 在训练周期内按时间表应用 SPS，分阶段选择样本，避免早期训练干扰，确保模型逐步优化。

实验结果

研究问题

• RQ1 在训练数据稀缺的情况下，GAN 生成的动态图像是否能有效增强视频分类模型？
• RQ2 如何缓解 GAN 生成样本的质量差异，以避免对模型训练产生负面影响？
• RQ3 与原始视频帧相比，使用动态图像是否能提升视频分类中数据增强的可行性与性能？
• RQ4 在每类样本极少的不平衡数据集中，合成动态图像能在多大程度上提升分类准确率？
• RQ5 自步选择机制是否能有效识别并优先选择对训练最有用的合成样本？

主要发现

• 与在不平衡数据上训练的基线模型相比，该方法在 UCF4* 子集上将分类准确率提升了 7.2%，在 HMDB4* 子集上提升了 6.8%。
• 该方法在 UCF101* 上达到 91.3% 的准确率，在 HMDB51* 上达到 60.4% 的准确率，优于在不平衡数据上训练的 SOTA 方法（如 DI Net 和 Two-Stream I3D）。
• 自步选择（SPS）机制成功过滤了低质量的 GAN 生成样本，提升了模型泛化能力并减少了过拟合。
• 与原始视频帧相比，使用动态图像实现了有效的 GAN 增强，因为压缩表示保留了关键运动特征，同时最小化了背景噪声。
• 该方法在少样本设置下显著优于 3D-CNN 基线模型（C3D、R3D、I3D），当使用 SPS-GAN 增强时，基于 TSN 的模型在 UCF4* 上达到 99.35% 的准确率。
• 该方法展现出强大的泛化能力和模块化特性，与现有视频分类框架（如 TSN）兼容，无需修改网络架构。