[论文解读] Privacy-Preserving Human Activity Recognition from Extreme Low Resolution

Michael S. Ryoo, Brandon Rothrock+2 more|arXiv (Cornell University)|Apr 12, 2016

Advanced Image Processing Techniques被引用 59

一句话总结

本文提出逆向超分辨率（ISR），以实现在保持隐私的前提下，从极端低分辨率（16x12）视频中实现精确的人类活动识别。通过学习最优的子像素变换，从高分辨率源视频生成多样化的低分辨率训练视频，ISR使分类器达到最先进性能——在16x12的JPL-Interaction数据集上准确率达到96.4%，证明了在不牺牲识别准确率的前提下，隐私保护型视觉技术是可行的。

ABSTRACT

Privacy protection from surreptitious video recordings is an important societal challenge. We desire a computer vision system (e.g., a robot) that can recognize human activities and assist our daily life, yet ensure that it is not recording video that may invade our privacy. This paper presents a fundamental approach to address such contradicting objectives: human activity recognition while only using extreme low-resolution (e.g., 16x12) anonymized videos. We introduce the paradigm of inverse super resolution (ISR), the concept of learning the optimal set of image transformations to generate multiple low-resolution (LR) training videos from a single video. Our ISR learns different types of sub-pixel transformations optimized for the activity classification, allowing the classifier to best take advantage of existing high-resolution videos (e.g., YouTube videos) by creating multiple LR training videos tailored for the problem. We experimentally confirm that the paradigm of inverse super resolution is able to benefit activity recognition from extreme low-resolution videos.

研究动机与目标

• 解决在需要详细视频理解以进行活动识别与保护高分辨率录像中隐私之间的矛盾。
• 开发一种仅捕获极端低分辨率（如16x12）视频的硬件级隐私保护视觉系统。
• 克服由于子像素视角变化导致的低分辨率视频识别中决策边界的不稳定性。
• 仅使用匿名化、低分辨率视频数据实现可靠的活动识别，而无需在数据采集后依赖高分辨率训练数据。
• 通过证明无法从16x12视频中恢复面部信息，验证极端低分辨率视频在实际中真正具备隐私保护性。

提出的方法

• 提出逆向超分辨率（ISR），一种从单个高分辨率视频学习生成多个信息丰富低分辨率训练视频的方法。
• 针对活动分类优化子像素变换，确保生成的低分辨率视频保留具有判别力的运动与外观特征。
• 使用高分辨率视频（如来自YouTube的视频）作为源数据，合成多样化的低分辨率训练样本，模拟真实世界中的低分辨率测试条件。
• 通过学习到的变换实施数据增强，以模拟视角变化，稳定低分辨率特征空间中的决策边界。
• 采用深度学习框架端到端训练ISR网络，生成能最大化下游分类器性能的低分辨率视频。
• 将ISR与传统特征提取器（如HOG、HOF）及分类器结合，在极端分辨率约束下于标准数据集上评估性能。

实验结果

研究问题

• RQ1 是否可以仅使用极端低分辨率（16x12）视频可靠地实现人类活动识别，同时保护隐私？
• RQ2 是否可以通过智能数据增强缓解由子像素视角偏移引起的低分辨率特征内在不稳定性？
• RQ3 是否能够从高分辨率源视频生成高质量、多样化的低分辨率训练数据，使分类器在真实低分辨率测试数据上泛化良好？
• RQ4 此类系统在多大程度上能够实现隐私保护，特别是针对16x12视频中的人脸识别？
• RQ5 是否可以在仅使用16x12视频的情况下实现最先进识别性能，即使基线方法需要更高分辨率？

主要发现

• 所提出的ISR方法在16x12版本的JPL-Interaction数据集上达到96.4%的准确率，优于先前使用更高分辨率（320x240）视频的方法。
• 即使在16x12视频中人体仅占几个像素，该方法仍显著优于标准HOF/HOG（20.0%）和ActionBank（26.9%）分类器。
• 仅使用PoT特征时，该方法在16x12 JPL-Interaction数据集上达到74.5%的准确率；结合ISR后准确率提升至96.4%，证明了所提出数据生成策略的有效性。
• 从16x12视频中恢复面部信息被证实不可行：即使使用最先进的基于深度学习的增强技术，也未能恢复出有意义的面部细节，且在5x7大小的人脸上，人脸识别准确率预计低于50%。
• 用户研究与视觉分析证实，16x12视频具有高度匿名性，显著降低隐私敏感度，且对重建攻击具有强抵抗力。