[论文解读] The effect of wording on message propagation: Topic- and author-controlled natural experiments on Twitter

Chenhao Tan, Lillian Lee+1 more|arXiv (Cornell University)|May 6, 2014

Complex Network Analysis Techniques参考文献 33被引用 49

一句话总结

本研究通过分析主题和作者受控的推文配对（同一用户在短时间内使用不同措辞发布的相同URL），探究措辞如何影响Twitter上的信息传播。基于真实Twitter数据的自然实验，作者开发了一种计算模型，其在识别哪种措辞变体获得更多转发方面，优于人类预测和强基线模型，证明了措辞在独立于主题或作者影响力的情况下显著影响传播性。

ABSTRACT

Consider a person trying to spread an important message on a social network. He/she can spend hours trying to craft the message. Does it actually matter? While there has been extensive prior work looking into predicting popularity of social-media content, the effect of wording per se has rarely been studied since it is often confounded with the popularity of the author and the topic. To control for these confounding factors, we take advantage of the surprising fact that there are many pairs of tweets containing the same url and written by the same user but employing different wording. Given such pairs, we ask: which version attracts more retweets? This turns out to be a more difficult task than predicting popular topics. Still, humans can answer this question better than chance (but far from perfectly), and the computational methods we develop can do better than both an average human and a strong competing method trained on non-controlled data.

研究动机与目标

• 隔离并测量措辞对社交媒体信息传播的影响，独立于主题和作者影响力。
• 通过使用同一用户发布相同内容但不同措辞的自然实验，解决先前研究中的混杂因素。
• 开发一种计算模型，基于语言和结构特征预测哪种信息版本传播更有效。
• 评估人类在受控措辞比较中是否能比随机猜测更好地预测转发成功率。
• 比较自定义语言特征与标准基线在预测转发结果方面的表现。

提出的方法

• 通过同一用户在短时间内发布相同URL的推文对，识别主题和作者受控的推文对。
• 使用Amazon Mechanical Turk收集人类对配对中哪一版措辞更可能被转发的判断。
• 使用自定义语言特征（如信息量、情感、普遍性、转发得分）和n-gram特征，在成对数据上训练监督分类器。
• 应用特征选择和正则化技术以避免过拟合并提高泛化能力。
• 采用交叉验证和Bonferroni校正来评估特征贡献的统计显著性。
• 将模型性能与人类准确率及在非受控数据上训练的强基线模型进行比较。

实验结果

研究问题

• RQ1 措辞的选择是否显著影响信息获得的转发数，独立于主题和作者影响力？
• RQ2 人类能否在主题和作者受控的配对中预测出哪一版本信息传播更有效？
• RQ3 在受控数据上训练的计算模型能否优于人类预测和在非受控数据上训练的基线模型？
• RQ4 哪些语言和结构特征最能预测受控措辞配对中的更高转发数？
• RQ5 性能和特征重要性如何随训练数据规模变化？

主要发现

• 人类在预测哪一版措辞会获得更高转发数时，平均准确率为61.3%，显著高于随机猜测但并非完美。
• 所提出的计算模型优于平均人类表现和在非受控数据上训练的强基线模型。
• 自定义特征如信息量、情感、转发得分以及与社区规范的一致性是最具预测性的。
• 即使在小规模训练数据下，该模型也表现出色，在1000对样本时优于词袋（BOW）特征。
• 诸如'icymi'、'thanks'、'sorry'和'@mentions'等特征被识别为较差的预测因子，可能表示非病毒式或私密意图。
• 模型表现最佳的单字特征包括'rt'、'retweet'、'breaking'和'win'，与先前关于病毒式内容的研究结果一致。