[论文解读] Topic and Sentiment Analysis on OSNs: a Case Study of Advertising Strategies on Twitter

Shana Dacres, Hamed Haddadi+1 more|arXiv (Cornell University)|Dec 23, 2013

Sentiment Analysis and Opinion Mining参考文献 26被引用 12

一句话总结

本研究利用先进的自然语言处理（NLP）与机器学习技术，分析Twitter广告策略，比较推广推文与推广趋势。研究发现，尽管推广趋势的参与度更高，但推广推文在情感倾向上显著更积极，且品牌参与度更持久，凸显了在广告领域准确社交媒体分析中，稳健的情感与主题分类的重要性。

ABSTRACT

Social media have substantially altered the way brands and businesses advertise: Online Social Networks provide brands with more versatile and dynamic channels for advertisement than traditional media (e.g., TV and radio). Levels of engagement in such media are usually measured in terms of content adoption (e.g., likes and retweets) and sentiment, around a given topic. However, sentiment analysis and topic identification are both non-trivial tasks. In this paper, using data collected from Twitter as a case study, we analyze how engagement and sentiment in promoted content spread over a 10-day period. We find that promoted tweets lead to higher positive sentiment than promoted trends; although promoted trends pay off in response volume. We observe that levels of engagement for the brand and promoted content are highest on the first day of the campaign, and fall considerably thereafter. However, we show that these insights depend on the use of robust machine learning and natural language processing techniques to gather focused, relevant datasets, and to accurately gauge sentiment, rather than relying on the simple keyword- or frequency-based metrics sometimes used in social media research.

研究动机与目标

• 探究不同的Twitter广告策略（推广推文与推广趋势）如何影响用户参与度与情感倾向。
• 评估稳健的NLP与机器学习技术在社交媒体数据情感与主题分类准确性方面的影响力。
• 识别在线广告活动中参与量、情感极性与品牌提及频率之间的权衡关系。
• 证明基于关键词的简单过滤与情感分析方法相较于监督式机器学习方法，会产生误导性结果。
• 为广告商提供可操作的见解，根据广告活动目标选择推广推文或推广趋势。

提出的方法

• 在大型购物活动期间，通过流媒体API在10天内实时收集Twitter数据。
• 应用判别式机器学习模型对推文进行主题相关性过滤，并与简单的关键词过滤方法进行对比。
• 使用多种情感分析工具与模型，将推文分类为积极、消极或中性情感，评估不同方法的性能表现。
• 追踪每项推广内容随时间推移的参与度指标，包括转发、提及与话题标签使用情况。
• 对ASOS与Vauxhall开展两个案例研究，分析推广活动结束后参与度的持续性。
• 通过人工检查数据，识别现成NLP工具的局限性，并提升分类准确性。

实验结果

研究问题

• RQ1 与推广趋势相比，推广推文的用户情感随时间如何演变？
• RQ2 推广推文与推广趋势的日参与度水平如何？推广结束后这些水平如何变化？
• RQ3 推广推文与推广趋势在直接品牌提及与话题标签使用方面有何差异？
• RQ4 相较于监督式机器学习方法，基于关键词或频率的简单方法在多大程度上歪曲了情感与主题相关性？
• RQ5 在品牌包容性与情感基调方面，推广推文与推广趋势的参与度与情感模式有何不同？

主要发现

• 推广推文在第一天产生了显著更高的积极情感（32%为积极），而推广趋势整体仅37%的推文为积极，表明用户对推广推文的偏好更强。
• 在推广首日，37%的关于推广趋势的推文表达消极情感，而推广推文中仅10%的推文为消极，表明用户对推广推文的情绪反应更强烈。
• 推广趋势的参与量高于推广推文，首日达到峰值，次日即骤降至初始水平的10%，表明用户疲劳迅速出现。
• 尽管话题标签使用量下降，ASOS与Vauxhall的持续参与度仍超出主动推广期，表明用户兴趣可超越推广周期。
• 研究发现，推广推文带来了更多直接品牌提及与更具品牌包容性的参与，表明用户与品牌之间联系更紧密。
• 稳健的基于机器学习的过滤与情感分类至关重要，因为关键词方法无法捕捉细微情感与主题相关性，导致产生误导性结论。