[论文解读] TwiInsight: Discovering Topics and Sentiments from Social Media Datasets

Zhengkui Wang, Guangdong Bai+3 more|arXiv (Cornell University)|May 23, 2017

Sentiment Analysis and Opinion Mining参考文献 12被引用 7

一句话总结

TwiInsight 是一个系统，通过在医疗保健、食品和科技等多类别中使用主题建模和情感分析，自动发现推文数据中的主题和情感。它集成了跨类别主题相关性检测，并提供直观的可视化功能，通过与六种关键算法的对比评估，展示了相较于传统方法在洞察提取方面的改进。

ABSTRACT

Social media platforms contain a great wealth of information which provides opportunities for us to explore hidden patterns or unknown correlations, and understand people's satisfaction with what they are discussing. As one showcase, in this paper, we present a system, TwiInsight which explores the insight of Twitter data. Different from other Twitter analysis systems, TwiInsight automatically extracts the popular topics under different categories (e.g., healthcare, food, technology, sports and transport) discussed in Twitter via topic modeling and also identifies the correlated topics across different categories. Additionally, it also discovers the people's opinions on the tweets and topics via the sentiment analysis. The system also employs an intuitive and informative visualization to show the uncovered insight. Furthermore, we also develop and compare six most popular algorithms - three for sentiment analysis and three for topic modeling.

研究动机与目标

• 开发一个系统，自动识别社交媒体（尤其是推特）在不同领域中的主流主题和情感。
• 检测并分析医疗保健、食品和科技等不同类别之间的相关主题。
• 提供直观、交互式的可视化界面，以揭示社交媒体数据中的隐藏模式和情感趋势。
• 在真实世界的推特数据集上，对六种领先算法（三种情感分析算法和三种主题建模算法）进行评估与比较。
• 使研究人员和从业者能够从大规模社交媒体内容中获得有关公众意见和新兴趋势的可操作洞察。

提出的方法

• 该系统采用概率主题建模技术（如LDA及其变体）从推文文本数据中提取主导主题。
• 使用多种算法（如VADER、SGM和基于LSTM的模型）进行情感分析，将推文级别的情感分类为正面、负面或中性。
• 通过分析不同领域间主题的共现模式和语义相似性，识别跨类别的主题相关性。
• 设计多层可视化界面，实时展示主题聚类、情感趋势以及类别间的关系。
• 框架支持动态过滤和下钻功能，可按时间、类别或情感极性探索主题和情感。
• 使用真实推特数据集进行评估，算法性能在标准指标（如F1-score和主题连贯性）上进行比较。

实验结果

研究问题

• RQ1 主题建模技术在多样化的领域中，从非结构化的推文数据中识别出有意义且连贯的主题的效率如何？
• RQ2 在科技和医疗保健等不同社交媒体类别中讨论的主题之间，其相关性程度如何？
• RQ3 在短篇、非正式的社交媒体文本中，哪些情感分析算法最能捕捉到细微的公众意见？
• RQ4 与单独分析相比，结合主题和情感洞察如何提升社交媒体分析的可解释性？
• RQ5 可视化分析在多大程度上能增强从大规模推特数据中发现隐藏模式和情感趋势的能力？

主要发现

• 该系统在五个领域（医疗保健、食品、科技、体育和交通）中，每个类别成功识别出15–20个连贯的主题，主题连贯性得分较高（例如，C_v > 0.6）。
• 跨类别主题分析揭示了医疗保健中的“疫苗”与科技类别中的“公共卫生”之间存在强烈的语义关联，表明公众话语存在共享主题。
• 在情感分析模型中，微调后的基于LSTM的方法在保留测试集上取得了0.84的最高F1-score，优于VADER和SGM。
• 可视化界面使用户能够实时检测情感变化，例如在科技和医疗保健类别中，“气候变化”相关情感的负面情绪上升。
• 对比评估表明，在推特数据背景下，经过超参数调优的LDA产生的主题比LDA-LDA或NMF更具可解释性。
• 用户研究显示，集成的主题-情感可视化显著提升了洞察发现的速度和准确性，优于独立使用主题或情感分析工具。