[论文解读] OpenFilter: A Framework to Democratize Research Access to Social Media AR Filters

Piera Riccio, Bill Psomas+4 more|arXiv (Cornell University)|Jul 19, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出 OpenFilter，一种框架，使研究人员能够将社交媒体 AR 滤镜——尤其是美容滤镜——应用于公开的人脸数据集（如 FairFace 和 LFW）。通过使用 Android 模拟器模拟实时滤镜应用，作者构建了 FairBeauty 和 B-LFW 数据集，表明尽管美容滤镜使面部外观趋于同质化，但其在最先进的人脸识别模型中仍能较好地保持身份识别性能。

ABSTRACT

Augmented Reality or AR filters on selfies have become very popular on social media platforms for a variety of applications, including marketing, entertainment and aesthetics. Given the wide adoption of AR face filters and the importance of faces in our social structures and relations, there is increased interest by the scientific community to analyze the impact of such filters from a psychological, artistic and sociological perspective. However, there are few quantitative analyses in this area mainly due to a lack of publicly available datasets of facial images with applied AR filters. The proprietary, close nature of most social media platforms does not allow users, scientists and practitioners to access the code and the details of the available AR face filters. Scraping faces from these platforms to collect data is ethically unacceptable and should, therefore, be avoided in research. In this paper, we present OpenFilter, a flexible framework to apply AR filters available in social media platforms on existing large collections of human faces. Moreover, we share FairBeauty and B-LFW, two beautified versions of the publicly available FairFace and LFW datasets and we outline insights derived from the analysis of these beautified datasets.

研究动机与目标

• 解决缺乏可用于定量研究的、带有 AR 滤镜人脸图像的公开数据集的问题。
• 为社交媒体平台数据采集提供一种可扩展且伦理的替代方案。
• 使跨学科研究人员（尤其是心理学、社会学和计算机视觉领域）能够平等地获取 AR 滤镜。
• 研究美容滤镜对人脸身份和识别性能产生的技术与社会学影响。
• 创建并发布 FairBeauty 和 B-LFW——FairFace 和 LFW 的美化版本——以支持对滤镜影响的可复现研究。

提出的方法

• 使用 Android 模拟器运行社交媒体应用（如 Instagram），并将真实 AR 滤镜应用于公开数据集中的静态图像。
• 将数据集图像投射到应用的摄像头画面中，以触发实时 AR 滤镜应用。
• 自动化处理流程，在保持图像元数据和分辨率的前提下，对大规模人脸数据集应用滤镜。
• 通过在 FairFace 数据集中应用美容滤镜创建 FairBeauty，通过在 LFW 中应用滤镜创建 B-LFW。
• 使用最先进的人脸识别模型评估在滤镜化与原始数据集上的性能表现。
• 通过在不同图像上应用多个滤镜，模拟真实社交媒体使用环境，反映滤镜在实际中的共存现象。

实验结果

研究问题

• RQ1 美容滤镜对最先进的人脸识别模型中的人脸身份保持能力有何影响？
• RQ2 AR 滤镜在多大程度上使不同人口统计群体的面部外观趋于同质化？
• RQ3 在数据集中同时应用多个共存滤镜在多大程度上反映了现实世界社交媒体的使用模式？
• RQ4 滤镜引发的美学标准化具有哪些技术和社会学影响？
• RQ5 分辨率和图像质量如何影响 AR 滤镜效果（如皮肤磨皮）的可见性和影响？

主要发现

• 美容滤镜显著同质化了不同人口统计群体的面部外观，FairBeauty 数据集中视觉差异明显减少。
• 尽管存在同质化现象，最先进的人脸识别模型在 B-LFW 数据集上仍保持高性能，表明滤镜应用下身份信息在很大程度上得以保留。
• 人脸识别模型在 B-LFW 上的性能表现出极小的退化，表明美容滤镜在提升外观的同时并未破坏身份识别能力。
• 框架 OpenFilter 实现了对真实社交媒体 AR 滤镜在公开数据集上的可复现、伦理化应用，克服了数据采集的局限性。
• OpenFilter 中 512x512 像素的分辨率限制可能降低皮肤磨皮等细微滤镜效果的可见性，可能影响生态效度。
• 未来研究应探索滤镜同质化程度如何随原始图像相似性变化，特别是按年龄、性别和种族划分的差异。