[论文解读] ScreenAvoider: Protecting Computer Screens from Ubiquitous Cameras

Mohammed Korayem, Robert Templeman+3 more|arXiv (Cornell University)|Nov 28, 2014

Video Surveillance and Tracking Methods参考文献 22被引用 13

一句话总结

ScreenAvoider 是一种计算机视觉框架，可检测并分类可穿戴设备记录的日常生活影像中是否包含计算机屏幕，从而根据屏幕的存在及其内容实施隐私策略。该框架采用深度学习实现高精度检测，并引入 ScreenTag 以标记敏感屏幕内容（如电子邮件或即时通讯应用），显著提升在无处不在的摄像头环境中的隐私管理能力。

ABSTRACT

We live and work in environments that are inundated with cameras embedded in devices such as phones, tablets, laptops, and monitors. Newer wearable devices like Google Glass, Narrative Clip, and Autographer offer the ability to quietly log our lives with cameras from a `first person' perspective. While capturing several meaningful and interesting moments, a significant number of images captured by these wearable cameras can contain computer screens. Given the potentially sensitive information that is visible on our displays, there is a need to guard computer screens from undesired photography. People need protection against photography of their screens, whether by other people's cameras or their own cameras. We present ScreenAvoider, a framework that controls the collection and disclosure of images with computer screens and their sensitive content. ScreenAvoider can detect images with computer screens with high accuracy and can even go so far as to discriminate amongst screen content. We also introduce a ScreenTag system that aids in the identification of screen content, flagging images with highly sensitive content such as messaging applications or email webpages. We evaluate our concept on realistic lifelogging datasets, showing that ScreenAvoider provides a practical and useful solution that can help users manage their privacy.

研究动机与目标

• 应对可穿戴设备和无处不在的摄像头在拍摄计算机屏幕显示的敏感信息时带来的日益增长的隐私风险。
• 开发一种自动化系统，用于检测图像中是否包含计算机屏幕，从而减少对大规模日常生活数据集进行人工审查的依赖。
• 使用户能够基于屏幕是否存在以及内容类型（尤其是电子邮件或即时通讯等高度敏感应用）制定隐私策略。
• 通过区分含有屏幕的图像与含有敏感屏幕内容的图像，提升在日常生活记录中的隐私管理能力。
• 提供一种实用且可部署的解决方案，可与现有的基于云的日常生活记录服务或操作系统集成，实现实时策略执行。

提出的方法

• 利用深度卷积神经网络（CNN）实现对图像中计算机屏幕的高精度检测，采用最先进的目标检测技术。
• 采用两阶段检测流程：首先识别屏幕区域，然后利用细粒度视觉识别技术对这些区域内的内容进行分类。
• 提出 ScreenTag 组件，通过视觉模式识别并标记包含高度敏感内容（如电子邮件界面或即时通讯应用）的图像。
• 应用基于属性的访问控制（ABAC）原则，其中视觉属性（例如屏幕存在性、内容类型）触发隐私策略。
• 在真实的日常生活记录数据集上评估系统，以模拟实际部署环境，并在实际约束条件下评估性能。
• 通过 API 或操作系统级服务与现有日常生活记录平台集成，实现在图像采集或上传过程中的实时策略执行。

实验结果

研究问题

• RQ1 基于深度学习的系统能否在可穿戴摄像头拍摄的图像中准确检测计算机屏幕的存在？
• RQ2 该系统在将屏幕内容分类为敏感与非敏感类别（如电子邮件、即时通讯或一般网页浏览）方面的程度如何？
• RQ3 ScreenTag 系统在识别并标记包含高度敏感内容（如个人消息或财务数据）的图像方面效果如何？
• RQ4 该框架能否无缝集成到现有的日常生活记录工作流中，实现在无需显著用户干预情况下的隐私策略执行？
• RQ5 在包含大量混合内容图像的真实日常生活记录场景中，系统表现如何？

主要发现

• ScreenAvoider 在日常生活影像中检测计算机屏幕方面表现出高精度，证明了在真实环境中实现自动化屏幕检测的可行性。
• 该系统能有效区分含有屏幕和不含有屏幕的图像，从而实现基于屏幕存在的策略执行。
• ScreenTag 能够有效识别并标记包含敏感内容（如即时通讯应用和电子邮件网页）的图像，降低无意泄露的风险。
• 该框架使用户能够执行隐私策略，阻止或限制含有屏幕的图像（尤其是敏感内容）上传至云端存储。
• 在真实日常生活记录数据集上的评估表明，ScreenAvoider 为无处不在的摄像头环境中的隐私管理提供了实用且可扩展的解决方案。
• 将深度学习与基于属性的访问控制相结合，实现了语义级别的隐私管理，标志着在以往基于规则或人工方法上的重大进步。