[论文解读] Predicting the Politics of an Image Using Webly Supervised Data

Christopher Thomas, Adriana Kovashka|arXiv (Cornell University)|Oct 31, 2019

Computational and Text Analysis Methods被引用 8

一句话总结

本文提出一种两阶段弱监督方法，利用网页监督数据预测新闻图像的政治倾向，其中在训练过程中通过配对的文章文本推断图像偏见，之后仅从图像中进行分类。该方法通过利用文本作为特权信息来学习判别性视觉概念，从而在网页监督和众包测试集上均取得当前最优性能，优于强基线模型。

ABSTRACT

The news media shape public opinion, and often, the visual bias they contain is evident for human observers. This bias can be inferred from how different media sources portray different subjects or topics. In this paper, we model visual political bias in contemporary media sources at scale, using webly supervised data. We collect a dataset of over one million unique images and associated news articles from left- and right-leaning news sources, and develop a method to predict the image's political leaning. This problem is particularly challenging because of the enormous intra-class visual and semantic diversity of our data. We propose a two-stage method to tackle this problem. In the first stage, the model is forced to learn relevant visual concepts that, when joined with document embeddings computed from articles paired with the images, enable the model to predict bias. In the second stage, we remove the requirement of the text domain and train a visual classifier from the features of the former model. We show this two-stage approach facilitates learning and outperforms several strong baselines. We also present extensive qualitative results demonstrating the nuances of the data.

研究动机与目标

• 使用弱监督学习在大规模范围内建模当代新闻媒体中的视觉政治偏见。
• 解决左倾与右倾媒体图像中高类别内视觉和语义多样性的问题。
• 开发一种方法，学习补充文本语境的判别性视觉概念，以实现政治偏见预测。
• 在仅使用配对文本进行训练后，实现仅从图像中进行零样本政治偏见分类。
• 提供一个大规模数据集及对新闻图像中人类标注政治偏见的分析。

提出的方法

• 该方法采用两阶段训练流程：首先，训练一个联合图像-文本模型，利用图像特征和配对文章的文档嵌入来预测政治倾向。
• 第二阶段，将第一阶段的图像编码器微调为特征提取器，并仅在视觉特征上训练线性分类器以实现推理，无需文本。
• 通过神经网络对文章文本计算文本嵌入，为视觉特征学习提供辅助监督。
• 模型学会关注显著的视觉线索——如公众人物的面部和新闻台标志——这些线索与政治倾向相关。
• 使用 Grad-CAM++ 生成视觉解释，以解释注意力图并验证模型行为。
• 该方法利用弱监督：训练期间仅使用源级别政治标签（左/右），而非实例级别的图像标注。

实验结果

研究问题

• RQ1 模型能否仅使用弱的源级别标签和配对文章文本，预测图像的政治倾向？
• RQ2 在文本监督下学习的视觉特征与在孤立状态下学习的视觉特征相比，其偏见分类准确率如何？
• RQ3 当区分左倾与右倾图像时，模型学会关注哪些视觉概念（例如：面部、标志、表情）？
• RQ4 人工标注的标签在多大程度上与模型预测一致？与网页监督基线相比表现如何？
• RQ5 同一位主体（例如：特朗普、克林顿）在不同政治光谱中的视觉表现（如微妙的呈现方式）有何差异？

主要发现

• 所提出的两阶段方法在大规模网页监督测试集和较小但高质量的众包标注测试集上，均优于多个强基线模型。
• 模型学会关注关键视觉线索，如公众人物的面部和新闻网络标志，这些是政治偏见的强指标。
• 通过 Grad-CAM++ 生成的视觉解释显示，模型聚焦于语义上有意义的元素，如标志和面部，而非通用场景特征或物体。
• 该方法成功捕捉了细微的视觉表现：例如，特朗普在左倾媒体中呈现愤怒表情，在右倾媒体中则显得慈祥，且在各来源中呈现出一致的视觉模式。
• 模型展现出强大的零样本泛化能力，在经过文本引导的监督训练后，仅使用图像进行推理即可达到高准确率。
• 定性分析表明，来自左、右来源的同一主题（如“黑人的命也是命”、气候变化）的图像在视觉上往往相似，但在面部表情、构图和象征性元素等细微线索上存在差异。