[论文解读] Privacy-Preserving Deep Action Recognition: An Adversarial Learning Framework and A New Dataset

Zhenyu Wu, Haotao Wang+3 more|arXiv (Cornell University)|Jun 12, 2019

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新颖的对抗性学习框架，用于隐私保护的视频动作识别，通过学习一种转换以模糊敏感属性，联合优化实用性（动作识别）与隐私性（匿名化）。该框架引入了模型重启和集成策略，以增强通用隐私保护，并发布了首个基准数据集 PA-HMDB51，提供每帧的动作与隐私属性（人脸、性别、肤色、裸露、关系）标注，在实验中实现了强大的隐私-实用性权衡。

ABSTRACT

We investigate privacy-preserving, video-based action recognition in deep learning, a problem with growing importance in smart camera applications. A novel adversarial training framework is formulated to learn an anonymization transform for input videos such that the trade-off between target utility task performance and the associated privacy budgets is explicitly optimized on the anonymized videos. Notably, the privacy budget, often defined and measured in task-driven contexts, cannot be reliably indicated using any single model performance because strong protection of privacy should sustain against any malicious model that tries to steal private information. To tackle this problem, we propose two new optimization strategies of model restarting and model ensemble to achieve stronger universal privacy protection against any attacker models. Extensive experiments have been carried out and analyzed. On the other hand, given few public datasets available with both utility and privacy labels, the data-driven (supervised) learning cannot exert its full power on this task. We first discuss an innovative heuristic of cross-dataset training and evaluation, enabling the use of multiple single-task datasets (one with target task labels and the other with privacy labels) in our problem. To further address this dataset challenge, we have constructed a new dataset, termed PA-HMDB51, with both target task labels (action) and selected privacy attributes (skin color, face, gender, nudity, and relationship) annotated on a per-frame basis. This first-of-its-kind video dataset and evaluation protocol can greatly facilitate visual privacy research and open up other opportunities. Our codes, models, and the PA-HMDB51 dataset are available at https://github.com/VITA-Group/PA-HMDB51.

研究动机与目标

• 为解决智能摄像头应用中视觉隐私日益增长的挑战，其中原始视频数据可能暴露人脸和性别等敏感属性。
• 开发一种深度学习框架，学习一种匿名化转换，以在最小化隐私泄露的同时保留动作识别的实用性。
• 通过设计可抵御任何未见攻击者模型的策略，克服‘通用隐私保护’挑战。
• 通过构建 PA-HMDB51 这一新基准数据集，解决缺乏同时具备实用性（动作）与隐私标签的公开数据集的问题，该数据集提供每帧标注。
• 通过自动化指标与人工评估相结合的方式对框架进行评估，以验证隐私保护与实用性保留的效果。

提出的方法

• 构建一种对抗性训练框架，通过可微分的匿名化转换，联合优化动作识别准确率与隐私预算性能。
• 采用三种优化策略——束搜索、基于熵的策略以及模型重启，以稳定训练并提升性能。
• 引入模型重启与集成技术，提升匿名化模型对多样化攻击者模型的泛化能力，解决通用隐私中的‘∀挑战’。
• 采用跨数据集训练与评估协议，利用已有的具备实用性或隐私标签的数据集，减轻领域差距问题。
• 构建 PA-HMDB51，一个新视频数据集，包含 51 种动作与 5 种隐私属性（人脸、性别、肤色、裸露、关系）的每帧标注，支持端到端评估。
• 采用多任务损失函数，结合实用性（动作识别）与隐私性（属性预测）目标，并引入自适应阈值以实现隐私抑制。

实验结果

研究问题

• RQ1 端到端的深度学习框架能否在视频数据中有效平衡动作识别性能与隐私保护？
• RQ2 如何实现对任何潜在攻击者模型的通用隐私保护，而非仅针对特定模型？
• RQ3 模型重启与集成策略在多大程度上能提升匿名化对未见攻击者模型的鲁棒性？
• RQ4 当在包含动作与隐私标注的统一新数据集上评估时，所提框架表现如何？
• RQ5 人工评估者能否可靠地区分动作，但无法识别匿名化视频中的隐私属性？

主要发现

• 当 M=4 时，所提框架在隐私 cMAP（综合平均精度）上实现了约 8% 的降低，同时对动作识别准确率的退化可忽略，证明了有效的隐私-实用性权衡。
• 模型重启与集成策略显著提升了隐私保护效果，尤其在应对未见攻击者模型时，优于基线方法的通用隐私防御性能。
• 人工研究证实，匿名化视频中的动作仍可被识别，而人脸与性别等隐私属性对人类观察者已不可识别。
• ‘人脸’属性比‘性别’更易被抑制，表明保护成本存在非对称性，性别因身体形态与着装线索更具鲁棒性。
• PA-HMDB51 数据集实现了在相同数据上对隐私与实用性的稳定评估，减少了先前跨数据集协议中存在的领域偏移问题。
• Ours-Entropy（重启）方法在 M=4 时实现了最佳权衡，优于简单下采样及其他基线方法，在所有评估指标上均表现更优。