[论文解读] Privacy Prediction of Images Shared on Social Media Sites Using Deep Features

Ashwini Tonge, Cornelia Caragea|arXiv (Cornell University)|Oct 29, 2015

Privacy-Preserving Technologies in Data参考文献 21被引用 9

一句话总结

本文提出了一种基于深度学习的方法，通过利用预训练卷积神经网络的深度特征以及自动生成的深度图像标签，预测社交媒体上共享图像的隐私设置。该方法在性能上优于传统的SIFT和GIST特征，以及用户提供的标签，在结合WordNet进行语义标签增强后，准确率达到83.14%。

ABSTRACT

Online image sharing in social media sites such as Facebook, Flickr, and Instagram can lead to unwanted disclosure and privacy violations, when privacy settings are used inappropriately. With the exponential increase in the number of images that are shared online every day, the development of effective and efficient prediction methods for image privacy settings are highly needed. The performance of models critically depends on the choice of the feature representation. In this paper, we present an approach to image privacy prediction that uses deep features and deep image tags as feature representations. Specifically, we explore deep features at various neural network layers and use the top layer (probability) as an auto-annotation mechanism. The results of our experiments show that models trained on the proposed deep features and deep image tags substantially outperform baselines such as those based on SIFT and GIST as well as those that use "bag of tags" as features.

研究动机与目标

• 为应对在Facebook、Flickr和Instagram等社交媒体平台上因个人图像失控分享而日益增长的隐私泄露风险。
• 开发一种自动化且准确的方法，基于图像的视觉和语义内容预测图像应设为公开还是私密。
• 改进现有依赖手工设计特征（如SIFT和GIST）的隐私预测模型，这些特征在私密类别上的表现较差。
• 探索预训练深度神经网络多个层级的深度特征的有效性，并利用最后一层的概率输出实现图像标签的自动标注。
• 分析标签语义及其共现模式，通过WordNet实现语义增强，以提升隐私预测性能。

提出的方法

• 利用在ImageNet ILSVRC-2012数据集上预训练的8层深度神经网络，从多个中间层和最终的Softmax层提取深度特征。
• 将最后一层在1000个ImageNet类别上的概率分布视为一种自动标注机制，用于生成深度图像标签。
• 从最后一层提取top-k概率得分作为深度标签，随后将其用作隐私分类的输入特征。
• 将深度特征与用户提供的标签结合，并通过添加WordNet中的上下位词、下位词和同义词来实现语义增强，以改善特征表示。
• 通过标签共现图分析识别上下文相关的标签关联，以区分私密图像与公开图像。
• 在组合特征集上训练并评估二元分类器（如SVM、随机森林），以预测图像的隐私设置。

实验结果

研究问题

• RQ1 基于预训练CNN的深度特征是否能优于传统手工设计的特征（如SIFT和GIST）来预测图像隐私设置？
• RQ2 从网络最后一层概率中自动生成的深度标签在多大程度上能提升隐私预测的准确性？
• RQ3 通过WordNet添加上下位词、同义词和下位词等方式对标签进行语义增强，在多大程度上能提升模型性能？
• RQ4 在公开与私密共享的图像之间，其标签和特征在语义与视觉模式上存在哪些显著差异？
• RQ5 标签共现模式是否能帮助解决当单个标签同时出现在两类图像中时的隐私预测模糊性问题？

主要发现

• 基于深度特征和深度图像标签训练的模型达到了83.14%的准确率，显著优于使用SIFT、GIST和用户标签的基线模型。
• 使用预训练CNN最后一层的深度特征，并以top-10概率得分作为标签的组合，在所有测试的特征组合中表现最佳。
• 标签共现分析显示，重叠标签如'people'和'photo'具有不同的上下文关联：在私密图像中，'photo'常与'portrait'和'bikini'共现；而在公开图像中则常与'nature'和'travel'共现。
• 使用WordNet的上下位词进行语义增强并未显著提升性能，因为深度标签+用户标签基线已达到83.14%的准确率，而添加上下位词仅导致F1-score下降0.5%（降至0.822）。
• 私密图像更可能包含与人物、服装（如'bikini'、'maillot'）和肖像相关的标签，而公开图像则更常包含自然、风景和旅行相关术语。
• 本研究证明，深度特征和深度标签在隐私预测任务中比传统视觉描述符和用户生成标签更具信息量。