[论文解读] Understanding the Political Ideology of Legislators from Social Media Images

Nan Miles Xi, Di Ma+4 more|arXiv (Cornell University)|Jul 22, 2019

Computational and Text Analysis Methods被引用 12

一句话总结

本研究利用深度学习技术，仅通过美国立法者的Facebook个人资料照片，对其中立派或民主党的政治意识形态进行分类，通过整合每人多张照片，实现了82.35%的准确率。模型预测结果与传统意识形态衡量指标高度相关，揭示出保守派图像更强调制度权威、主导社会群体及更高程度的幸福感，而自由派图像则体现多样性与进步主义象征。

ABSTRACT

In this paper, we seek to understand how politicians use images to express ideological rhetoric through Facebook images posted by members of the U.S. House and Senate. In the era of social media, politics has become saturated with imagery, a potent and emotionally salient form of political rhetoric which has been used by politicians and political organizations to influence public sentiment and voting behavior for well over a century. To date, however, little is known about how images are used as political rhetoric. Using deep learning techniques to automatically predict Republican or Democratic party affiliation solely from the Facebook photographs of the members of the 114th U.S. Congress, we demonstrate that predicted class probabilities from our model function as an accurate proxy of the political ideology of images along a left-right (liberal-conservative) dimension. After controlling for the gender and race of politicians, our method achieves an accuracy of 59.28% from single photographs and 82.35% when aggregating scores from multiple photographs (up to 150) of the same person. To better understand image content distinguishing liberal from conservative images, we also perform in-depth content analyses of the photographs. Our findings suggest that conservatives tend to use more images supporting status quo political institutions and hierarchy maintenance, featuring individuals from dominant social groups, and displaying greater happiness than liberals.

研究动机与目标

• 探究是否能仅通过立法者社交媒体图像，特别是Facebook个人资料照片中的视觉线索，推断其政治意识形态。
• 评估图像中的视觉特征（如服装、符号和面部表情）与自由派或保守派政治取向的相关性。
• 比较人类与机器在从图像中识别政党归属方面的分类准确率，并分析特征解读的差异。
• 识别并分析在政治传播中区分自由派与保守派图像的最具预测性的视觉元素。

提出的方法

• 采用卷积神经网络（CNN）仅基于其Facebook个人资料照片，对第114届美国国会成员的政党归属（共和党或民主党）进行分类。
• 在包含272名立法者的数据集上进行模型训练，使用单张图像及每人最多150张图像的聚合得分，以提高预测可靠性。
• 通过与DW-NOMINATE得分（衡量政治意识形态的金标准）对比验证模型预测，证明基于图像的预测与既定意识形态排名之间存在强相关性。
• 对高分图像进行深入的内容分析，识别显著的视觉特征，如军装、服装、符号（如国会大厦）以及人口构成特征。
• 使用人工评判员对图像进行标注，并与模型输出进行对比，识别出人类判断中的偏见（如种族刻板印象）以及模型的局限性（如误读文字或罕见符号）。

实验结果

研究问题

• RQ1 仅使用立法者的Facebook个人资料照片，机器学习能否准确预测其政党归属？
• RQ2 深度学习分类器在从图像中识别政党归属方面的表现与人类判断相比如何？
• RQ3 哪些特定视觉特征——如服装、符号或面部表情——最能预测政治图像中的自由派或保守派政治意识形态？
• RQ4 基于图像的意识形态预测在多大程度上与DW-NOMINATE得分等既定意识形态衡量指标相关？

主要发现

• 深度学习模型在单张照片分类中达到59.28%的准确率，而在整合同一立法者多张照片的预测后，准确率提升至82.35%。
• 模型预测与DW-NOMINATE得分高度相关，验证了模型输出作为左右政治意识形态可靠代理指标的有效性。
• 保守派图像更常出现制度权威象征（如国会大厦）、军人形象，以及来自主导种族和性别群体的个体，且表现出更高的幸福感。
• 自由派图像更常包含多样化的种族和民族群体、包容性象征（如同性婚姻彩虹旗）以及儿童或社区服务的描绘。
• 人类在解读罕见或特定语境下的符号（如“Habitat for Humanity”T恤）方面优于模型，但其判断中也表现出种族和性别刻板印象。
• 模型未能识别图像中的文字元素（如“DEFUND OBAMACARE”），而人类在训练数据中此类视觉特征频率较低的情况下，有时仍能正确解读此类内容。