[论文解读] YouTube Chatter: Understanding Online Comments Discourse on Misinformative and Political YouTube Videos

Aarash Heydari, Janny Zhang+3 more|arXiv (Cornell University)|Jun 30, 2019

Misinformation and Its Impacts被引用 6

一句话总结

本研究通过比较不同偏见和事实准确性水平的频道在政治和误导性YouTube视频上的评论量、参与度及语言特征，分析了在线话语。研究发现，阴谋论-伪科学频道和可疑信息来源频道的每观看一次产生的回复数是可信或非政治频道的11倍，且机器学习模型成功利用评论统计数据预测了频道偏见。

ABSTRACT

We conduct a preliminary analysis of comments on political YouTube content containing misinformation in comparison to comments on trustworthy or apolitical videos, labelling the bias and factual ratings of our channels according to Media Bias Fact Check where applicable. One of our most interesting discoveries is that especially-polarized or misinformative political channels (Left-Bias, Right-Bias, PragerU, Conspiracy-Pseudoscience, and Questionable Source) generate 7.5x more comments per view and 10.42x more replies per view than apolitical or Pro-Science channels; in particular, Conspiracy-Pseudoscience and Questionable Sources generate 8.3x more comments per view and 11.0x more replies per view than apolitical and Pro-Science channels. We also compared average thread lengths, average comment lengths, and profanity rates across channels, and present simple machine learning classifiers for predicting the bias category of a video based on these statistics.

研究动机与目标

• 调查政治偏见或误导性YouTube频道与可信或非政治频道之间在线评论话语的差异。
• 量化不同事实准确性与偏见评级频道的参与度水平，如每观看一次的评论和回复数量。
• 分析不同频道类型之间评论的语言和结构特征，包括线程长度、评论长度和粗俗语率。
• 开发并评估基于评论统计数据预测视频偏见类别的机器学习分类器。
• 评估内容可信度与YouTube上观众参与度之间的关系，特别是在两极分化或误导性内容中。

提出的方法

• 本研究收集并分析了由媒体偏见事实核查机构（Media Bias Fact Check）标注为左倾偏见、右倾偏见、PragerU、阴谋论-伪科学、可疑信息来源、科学支持类或非政治类的YouTube频道的视频评论。
• 计算了每观看一次的参与度指标：每观看一次的评论数和每观看一次的回复数，并在不同频道偏见和事实准确性类别之间进行比较。
• 针对每种频道类型，测量了评论线程内的平均线程长度、平均评论长度和粗俗语率。
• 利用计算出的评论统计数据训练了简单的机器学习分类器，以预测视频的偏见类别。
• 分析依赖于来自32页图表和23张图表的实证数据，重点关注不同频道类型之间的比较统计数据。
• 本研究使用YouTube的公开数据和媒体偏见事实核查机构的偏见评级，以确保频道分类的一致性。

实验结果

研究问题

• RQ1 误导性/政治类YouTube频道与非政治或可信频道相比，每观看一次的评论和回复数量有何差异？
• RQ2 在不同偏见和事实准确性水平的频道之间，评论线程结构、长度和粗俗语率有何差异？
• RQ3 诸如平均线程长度和回复量等评论统计数据，在多大程度上可以预测YouTube视频的偏见类别？
• RQ4 与科学支持类和非政治类频道相比，阴谋论-伪科学和可疑信息来源频道在参与度指标上表现如何？
• RQ5 在高极化或低事实准确性的频道视频中，线上话语呈现出何种模式？

主要发现

• 阴谋论-伪科学频道和可疑信息来源频道每观看一次产生的评论是非政治或科学支持类频道的8.3倍，回复数是其11.0倍。
• 总体而言，误导性或极化频道（包括左倾偏见、右倾偏见、PragerU）每观看一次产生的评论是其7.5倍，回复数是其10.42倍。
• 本研究成功训练了机器学习分类器，利用线程长度、评论长度和回复量等评论统计数据预测视频的偏见类别。
• 粗俗语率和平均评论长度在不同频道类型之间存在显著差异，极化和误导性内容中的参与度更高。
• 在事实准确性存疑的频道中，平均线程长度和回复量显著更高，表明评论互动更激烈或更持久。
• 结果表明，高极化或具有误导性潜力的内容会显著引发更多线上话语和参与度，远超中立或科学准确的内容。