[论文解读] On the Robustness of Human Pose Estimation

Sahil Shah, Naman Jain+2 more|arXiv (Cornell University)|Aug 18, 2019

Adversarial Robustness in Machine Learning参考文献 64被引用 5

一句话总结

本文首次对二维单人姿态估计（HPE）模型的对抗性攻击进行了全面研究，评估了基于热力图和直接回归架构的模型在对抗攻击下的鲁棒性。研究发现，基于热力图的模型显著比基于回归的模型更鲁棒，通用扰动极为有效且感知上细微，而人体测量约束可增强鲁棒性，其中定向攻击比非定向攻击更难执行。

ABSTRACT

This paper provides a comprehensive and exhaustive study of adversarial attacks on human pose estimation models and the evaluation of their robustness. Besides highlighting the important differences between well-studied classification and human pose-estimation systems w.r.t. adversarial attacks, we also provide deep insights into the design choices of pose-estimation systems to shape future work. We benchmark the robustness of several 2D single person pose-estimation architectures trained on multiple datasets, MPII and COCO. In doing so, we also explore the problem of attacking non-classification networks including regression based networks, which has been virtually unexplored in the past. \par We find that compared to classification and semantic segmentation, human pose estimation architectures are relatively robust to adversarial attacks with the single-step attacks being surprisingly ineffective. Our study shows that the heatmap-based pose-estimation models are notably robust than their direct regression-based systems and that the systems which explicitly model anthropomorphic semantics of human body fare better than their other counterparts. Besides, targeted attacks are more difficult to obtain than un-targeted ones and some body-joints are easier to fool than the others. We present visualizations of universal perturbations to facilitate unprecedented insights into their workings on pose-estimation. Additionally, we show them to generalize well across different networks. Finally we perform a user study about perceptibility of these examples.

研究动机与目标

• 调查姿态估计模型在对抗攻击下的脆弱性，这是先前研究中的关键空白，尽管HPE在安全关键应用中的部署日益广泛。
• 比较不同HPE架构（特别是基于热力图与直接回归模型）在对抗扰动下的鲁棒性。
• 评估图像特定与图像无关（通用）对抗攻击在HPE系统中的有效性。
• 分析多尺度处理、注意力机制和人体测量约束等设计选择对鲁棒性的影响。
• 通过用户研究量化对抗样本的可察觉性，将模型鲁棒性与人类视觉感知联系起来。

提出的方法

• 将最先进的基于梯度的对抗攻击算法（如IGSM）应用于在MPII和COCO数据集上训练的二维单人HPE模型。
• 设计了针对HPE的定向与非定向攻击，并通过仔细调整超参数以评估可行性与成功率。
• 生成并可视化了通用对抗扰动，以研究其在不同HPE架构间的泛化能力。
• 使用标准指标（如平均绝对误差（MAE）和关节误差（PCK））评估鲁棒性，比较干净输入与对抗输入下的预测结果。
• 通过用户研究（平均意见得分（MOS））量化不同扰动幅度（ε）下对抗样本的可察觉性。
• 探索了图像翻转和图像平滑等简单图像处理防御方法，评估其对图像特定与通用扰动的有效性。

实验结果

研究问题

• RQ1 不同HPE架构设计（特别是基于热力图与直接回归模型）如何影响对抗攻击下的鲁棒性？
• RQ2 通用对抗扰动在不同HPE模型之间泛化的程度如何，尽管其与图像无关，是否仍保持有效性？
• RQ3 与非定向攻击相比，HPE模型的定向对抗攻击是否更难生成，且需要何种超参数调优？
• RQ4 哪些身体关节对对抗扰动最脆弱，这种脆弱性在不同模型和攻击类型之间如何变化？
• RQ5 对抗扰动对人类观察者有多明显，扰动幅度（ε）与感知视觉损伤之间的关系是什么？

主要发现

• 基于热力图的HPE模型在对抗攻击下表现出显著更高的鲁棒性，与相同扰动下基于回归的模型相比，误差增加更小。
• 尽管计算成本更低且可在模型间迁移，通用对抗扰动在降低HPE性能方面与图像特定的迭代攻击同样有效。
• 定向攻击比非定向攻击更难执行，需要更精确的超参数调优，且成功率更低。
• 手腕和脚踝等关节比骨盆或脊柱等中心关节更易受对抗扰动影响，表明人体不同部位的鲁棒性存在差异。
• 对抗样本的可察觉性随扰动幅度（ε）增加而上升：在ε=8时，47.93%的用户察觉到扰动，上升至ε=32时达97.84%，MOS在ε=8时降至1.96。
• 图像翻转能有效中和图像特定扰动（将攻击成功率从5–10%降至70–75%），但无法缓解通用扰动，因其具有通用性，翻转后仍具有效性。