[论文解读] Understanding YouTube Communities via Subscription-based Channel Embeddings

Sam Clark, Anna Zaitsev|arXiv (Cornell University)|Oct 19, 2020

Hate Speech and Cyberbullying Detection参考文献 17被引用 7

一句话总结

本文提出一种自监督方法，利用评论者订阅数据来发现并分类YouTube频道，实现对社会政治社群的大规模分析。该方法在预测政治倾向方面达到83.8%的准确率，优于以往模型，同时发现了7,224个此前未被分析的频道，揭示了仅关注热门频道的研究中，'阴谋论'和'政党右翼'内容显著被低估。

ABSTRACT

YouTube is an important source of news and entertainment worldwide, but the scale makes it challenging to study the ideas and topics being discussed on the platform. This paper presents new methods to discover and classify YouTube channels which enable the analysis of communities and categories on the platform using orders of magnitude more channels than have been used in previous studies. Instead of using channel and video data as features for classification as other researchers have, these methods use a self-supervised learning approach that leverages the public subscription pages of commenters. We test the classification method on the task of predicting the political lean of YouTube news channels and find that it outperforms the previous best model on the task. Further experiments also show that there are important advantages to using commenter subscriptions to discover channels. The subscription data, along with an iterative approach, is applied to discover, to our current understanding, the most comprehensive set of English language socio-political YouTube channels yet to be analyzed. We experiment with predicting more fine grained political tags for channels using a previously annotated dataset and find that our model performs better than the average individual human reviewer for most of the top tags. This fine grained political tag model is then applied to the newly discovered English language socio-political channels to create a new dataset to analyze the amount of traffic going to different political content. The data shows that some tags, such as "Partisan Right" and "Conspiracy", are significantly under represented when looking only at the most popular socio-political channels. Through the use of our methods, we are able to get a much more accurate picture of the size of these communities on YouTube.

研究动机与目标

• 解决以往研究仅关注热门YouTube频道的局限性，避免遗漏小型、利基社群的重要流量。
• 开发一种可扩展的方法，用于发现和分类超出最热门频道的社会政治YouTube频道。
• 利用从评论者订阅数据中提取的自监督嵌入，提升政治频道分类的准确率。
• 衡量现有数据集的覆盖范围，并证明仅关注高订阅量频道会显著低估某些政治内容类型。
• 创建一个全新的、全面的英文社会政治频道数据集，以实现更准确的社群层面分析。

提出的方法

• 利用公开的评论者订阅页面，通过自监督学习方法生成频道嵌入，将每位评论者的订阅列表视为训练信号。
• 在频道嵌入上应用k近邻（k-NN）分类器，以预测政治和意识形态标签，使用Recfluence数据集中的标注数据。
• 采用迭代发现方法，通过分析评论者订阅模式，识别符合现有数据集标准的频道。
• 使用留出法覆盖估计技术，衡量所发现数据集捕获社会政治频道的比例。
• 将发现的频道与原始Recfluence数据集结合，创建用于流量分析的综合性社会政治频道数据集。
• 通过共享测试集与先前模型进行性能验证，包括使用视频字幕和音频信号的模型。

实验结果

研究问题

• RQ1 所提出的方法在多大程度上发现了超出最热门频道的社会政治YouTube频道？
• RQ2 从评论者订阅数据中提取的频道嵌入在预测政治和意识形态标签方面，与人工标注者的准确率相比如何？
• RQ3 与使用视频字幕和音频信号的现有机器学习模型相比，该方法的性能如何？
• RQ4 现有数据集中社会政治内容的实际覆盖范围是多少？仅关注高订阅量频道会遗漏多少内容？
• RQ5 在'头部'频道（前257名）与全部社会政治频道之间，流量分布有何差异，特别是对'阴谋论'和'政党右翼'等被低估标签的频道？

主要发现

• 该方法发现了7,224个社会政治YouTube频道，几乎是原始Recfluence数据集（758个频道）的十倍。
• 该模型在预测新闻频道政治倾向方面达到83.8%的准确率，优于先前最佳模型（73.0%）在相同测试集上的表现。
• 在12个政治标签中，该模型在11个标签上的表现优于平均人工评审者，包括标注样本少于50个的标签。
• 所发现的频道覆盖了估计78%的符合社会政治标准的频道，具有更高的覆盖潜力。
• '阴谋论'频道的流量占社会政治总流量的6.5%，但在前257名'头部'频道中仅占1.8%，表明以往研究存在显著低估。
• 同样，'政党右翼'频道占总流量的19.8%，但在'头部'频道中仅占14.6%，进一步凸显了仅关注热门频道的研究存在偏差。