[论文解读] Three Metrics for Measuring User Engagement with Online Media and a YouTube Case Study

Lassi A. Liikkanen|arXiv (Cornell University)|Dec 19, 2013

Social Media and Politics参考文献 6被引用 8

一句话总结

本文提出三种用户参与度指标——评论频率、投票频率和投票平衡度——这些指标源自标准的YouTube统计数据，旨在更准确地量化用户互动。在对热门YouTube视频的案例研究中，这些指标与原始参与度数据的相关性仅中等，凸显了其在捕捉超越简单观看或点赞次数的细微用户行为方面的价值。

ABSTRACT

This technical report discusses three metrics of user engagement with online media. They are Commenting frequency, Voting frequency, and Voting balance. These relative figures can be derived from established, basic statistics available for many services, prominently YouTube. The paper includes case a study of popular YouTube videos to illustrate the characteristics and usefulness of the measures. The study documents the range of observed values and their relationships. The empirical sample shows the three measures to be only moderately correlated with the original statistics despite the common numerators and denominators. The paper concludes by discussing future applications and the needs of the quantification of user interaction with new media services.

研究动机与目标

• 开发新的、可解释的指标，用于衡量用户在在线媒体上的参与度，超越基本的观看或点赞次数。
• 分析这些指标与传统参与度指标在捕捉用户互动模式方面的差异。
• 使用来自热门YouTube视频的真实世界数据评估这些指标。
• 展示相对指标在理解视频平台中多样化用户行为方面的实用性。
• 为未来在新兴媒体服务中量化用户互动提供支持。

提出的方法

• 将评论频率定义为评论数与观看次数的比率，按每1,000次观看进行归一化。
• 将投票频率定义为票数（点赞/点踩）与观看次数的比率，按每1,000次观看进行归一化。
• 将投票平衡度定义为（点赞数 - 点踩数）与总票数的比率，反映情感极性。
• 利用公开可获取的统计数据，将这些指标应用于一组热门YouTube视频。
• 分析数据集中这三个指标的分布及其相互关系。
• 使用统计分析评估新指标与原始参与度数据之间的相关性。

实验结果

研究问题

• RQ1 在热门YouTube视频中，评论频率、投票频率和投票平衡度如何变化？
• RQ2 这些新指标与传统参与度指标（如观看次数或点赞次数）的相关性有多大？
• RQ3 这些指标能否揭示原始统计数据未能捕捉到的用户行为模式？
• RQ4 在真实世界在线媒体内容样本中，每个指标的观测值范围是什么？
• RQ5 这些指标在区分不同类型用户参与行为方面表现如何？

主要发现

• 尽管三个指标与原始参与度统计数据共享分子和分母，但其相关性仅为中等水平。
• 评论频率变化广泛，表明即使在高观看量的视频中，也只有极少数观众会主动评论。
• 投票频率普遍较低，大多数视频每1,000次观看的票数少于1票，表明主动投票行为有限。
• 投票平衡度揭示了部分视频中显著的情感极化现象，极端值表明观众反应强烈。
• 这些指标共同捕捉到了原始观看或点赞次数无法反映的用户互动的细微特征。
• 实证结果表明，这些指标对内容类型和观众反应模式敏感，支持其在参与度分析中的应用。