[论文解读] When Human Pose Estimation Meets Robustness: Adversarial Algorithms and Benchmarks

Jiahang Wang, Sheng Jin+4 more|arXiv (Cornell University)|May 13, 2021

Human Pose and Action Recognition参考文献 49被引用 7

一句话总结

本文提出 AdvMix，一种与模型无关的对抗性数据增强方法，可在不牺牲干净数据准确率的前提下，提升人体关键点估计算法对图像退化（image corruptions）的鲁棒性。通过联合训练一个生成器以生成对抗性混合的退化图像，以及一个关键点估计算法从这些样本中学习，再结合来自教师模型的知识蒸馏，AdvMix 显著提升了在 COCO-C、MPII-C 和 OCHuman-C 等退化基准上的性能，且推理阶段无额外开销。

ABSTRACT

Human pose estimation is a fundamental yet challenging task in computer vision, which aims at localizing human anatomical keypoints. However, unlike human vision that is robust to various data corruptions such as blur and pixelation, current pose estimators are easily confused by these corruptions. This work comprehensively studies and addresses this problem by building rigorous robust benchmarks, termed COCO-C, MPII-C, and OCHuman-C, to evaluate the weaknesses of current advanced pose estimators, and a new algorithm termed AdvMix is proposed to improve their robustness in different corruptions. Our work has several unique benefits. (1) AdvMix is model-agnostic and capable in a wide-spectrum of pose estimation models. (2) AdvMix consists of adversarial augmentation and knowledge distillation. Adversarial augmentation contains two neural network modules that are trained jointly and competitively in an adversarial manner, where a generator network mixes different corrupted images to confuse a pose estimator, improving the robustness of the pose estimator by learning from harder samples. To compensate for the noise patterns by adversarial augmentation, knowledge distillation is applied to transfer clean pose structure knowledge to the target pose estimator. (3) Extensive experiments show that AdvMix significantly increases the robustness of pose estimations across a wide range of corruptions, while maintaining accuracy on clean data in various challenging benchmark datasets.

研究动机与目标

• 为评估关键点估计算法在真实世界图像退化下的鲁棒性，填补缺乏严谨基准的空白。
• 探究当前最先进关键点估计算法在干净数据准确率与对未见退化类型鲁棒性之间的权衡。
• 开发一种与模型无关的方法，提升对多种退化类型的鲁棒性，同时保持在干净数据上的性能。
• 探索有效结合数据增强技术以提升对未预见退化类型的泛化能力。

提出的方法

• 构建了三个新的鲁棒性基准：COCO-C、MPII-C 和 OCHuman-C，通过在原始数据集上应用多样且未见过的退化类型生成。
• 提出 AdvMix，一种对抗性数据增强框架，通过对抗方式联合训练生成器与关键点估计算法，以生成高难度的混合训练样本。
• 生成器学习逐像素的混合权重，以组合多张退化图像，生成复杂且逼真的噪声模式，从而挑战关键点估计算法。
• 采用知识蒸馏技术，利用与学生模型架构相同的预训练教师模型，将干净关键点结构的知识迁移过来，缓解对对抗性噪声的过拟合。
• 推理阶段丢弃生成器和教师模型，确保无计算开销。
• 采用双流训练机制：生成器旨在混淆关键点估计算法，而估计算法则从日益困难的样本中学习鲁棒表征。

实验结果

研究问题

• RQ1 当前最先进的人体关键点估计算法在训练阶段未见过的多样化真实世界图像退化下表现如何？
• RQ2 当前关键点估计算法在干净数据准确率与对图像退化鲁棒性之间存在何种权衡？
• RQ3 对抗性数据增强能否有效提升对未见退化类型的泛化能力，同时保持在干净数据上的性能？
• RQ4 使用同架构教师模型进行知识蒸馏，如何在对抗性增强训练中帮助维持干净数据准确率？
• RQ5 AdvMix 是否可与其它数据增强技术（如风格迁移）结合，以进一步提升鲁棒性？

主要发现

• 最先进的人体关键点估计算法（无论是自顶向下还是自底向上）在退化图像上性能严重下降，尤其在运动模糊和变焦模糊下表现更差。
• AdvMix 显著提升了在 COCO-C、MPII-C 和 OCHuman-C 上的平均性能（mPC），优于标准训练和其它增强基线方法。
• 该方法在干净数据上保持或轻微提升性能，而知识蒸馏单独使用时无法在无对抗增强的情况下提升干净数据准确率。
• AdvMix 中的逐像素混合权重学习相比逐图像混合，能实现更好的鲁棒性，因其支持更精细、区域感知的数据组合。
• AdvMix 与数据风格迁移结合，可在所有退化类型下实现最佳整体鲁棒性，持续提升 mPC 同时保持干净数据性能。
• 在训练中引入推理时可能出现的退化类型，虽能提升对特定退化的鲁棒性，但会损害干净数据准确率，且对未见退化泛化能力差，凸显了更通用增强策略的必要性。