[论文解读] Revealing the Hidden Patterns of News Photos: Analysis of Millions of News Photos Using GDELT and Deep Learning-based Vision APIs

Haewoon Kwak, Jisun An|arXiv (Cornell University)|Mar 15, 2016

Rhetoric and Communication Studies参考文献 15被引用 9

一句话总结

本研究利用GDELT和基于深度学习的视觉API，分析了2016年1月超过两百万张新闻图片，以揭示视觉内容中的隐藏模式。研究发现主导性物体、情感趋势、性别代表性差异以及政治候选人形象的差异，是首次使用先进计算机视觉技术对新闻图像进行的大规模分析。

ABSTRACT

In this work, we analyze more than two million news photos published in January 2016. We demonstrate i) which objects appear the most in news photos; ii) what the sentiments of news photos are; iii) whether the sentiment of news photos is aligned with the tone of the text; iv) how gender is treated; and v) how differently political candidates are portrayed. To our best knowledge, this is the first large-scale study of news photo contents using deep learning-based vision APIs.

研究动机与目标

• 利用自动化计算机视觉技术研究大规模新闻摄影的视觉内容。
• 检验新闻图片中的视觉情感与新闻文章中文本语气的一致性。
• 评估新闻图像中的性别代表性及其潜在偏见。
• 比较不同媒体对政治候选人的视觉呈现差异。
• 通过基于深度学习的视觉API，在大规模范围内建立新闻图片内容的基础分析。

提出的方法

• 利用GDELT全球知识图谱收集2016年1月的元数据和新闻文章数据。
• 从GDELT的媒体数据库中提取新闻图片，并通过预训练的基于深度学习的视觉API进行处理。
• 使用视觉API检测物体、估算情感（正面/负面），并识别图像中的性别代表性。
• 将视觉特征与相关新闻文章的文本情感进行关联，以评估其一致性。
• 根据视觉特征对政治候选人进行分类，并分析其在不同媒体中的形象差异。
• 应用统计分析，识别各类别中视觉呈现的模式与差异。

实验结果

研究问题

• RQ1 新闻图片中最常出现的物体是什么？
• RQ2 新闻图片的整体情感倾向如何？与伴随文本的情感相比有何差异？
• RQ3 新闻图片中如何呈现性别？是否存在表现上的差异？
• RQ4 不同媒体对政治候选人的视觉呈现有何不同？
• RQ5 新闻内容的视觉构图是否存在系统性偏见？

主要发现

• 新闻图片中检测到的最常见物体是人物，其次是建筑、车辆和旗帜。
• 新闻图片整体呈现负面情感倾向，60%的图像被视觉API分类为负面。
• 视觉情感与文本情感之间存在显著不一致，45%的文章在文本与图像中表现出相反的情感基调。
• 男性被描绘的频率高于女性，在数据集中视觉呈现的比例为3:1。
• 当政治候选人与自己所属政党的媒体关联时，其形象更可能被呈现为积极。
• 在报道政治事件时，政治人物的图片更可能包含权力象征（如讲台、旗帜）等元素。