[论文解读] Public Attitudes Toward ChatGPT on Twitter: Sentiments, Topics, and Occupations

Ratanond Koonchanok, Yanling Pan+1 more|arXiv (Cornell University)|Jun 22, 2023

Sentiment Analysis and Opinion Mining参考文献 48被引用 5

一句话总结

本研究利用自然语言处理技术，分析了2022年12月至2023年6月期间推特上与ChatGPT相关的公众情绪、话题及用户职业背景。研究发现，整体情绪以中性至积极为主，且随时间推移呈下降趋势；识别出教育、网络安保等关键讨论话题；并揭示了不同职业群体的讨论模式——例如，艺术与娱乐行业的用户讨论ChatGPT最为频繁，而计算机与数学专业的用户则更关注网络安保议题。

ABSTRACT

ChatGPT sets a new record with the fastest-growing user base, as a chatbot powered by a large language model (LLM). While it demonstrates state-of-the-art capabilities in a variety of language-generation tasks, it also raises widespread public concerns regarding its societal impact. In this paper, we investigated public attitudes towards ChatGPT by applying natural language processing techniques such as sentiment analysis and topic modeling to Twitter data from December 5, 2022 to June 10, 2023. Our sentiment analysis result indicates that the overall sentiment was largely neutral to positive, and negative sentiments were decreasing over time. Our topic model reveals that the most popular topics discussed were Education, Bard, Search Engines, OpenAI, Marketing, and Cybersecurity, but the ranking varies by month. We also analyzed the occupations of Twitter users and found that those with occupations in arts and entertainment tweeted aboutChatGPT most frequently. Additionally, people tended to tweet about topics relevant to their occupation. For instance, Cybersecurity is the most discussed topic among those with occupations related to computer and math, and Education is the most discussed topic among those in academic and research. Overall, our exploratory study provides insights into the public perception of ChatGPT, which could be valuable to both the general public and developers of this technology.

研究动机与目标

• 了解推特上公众对ChatGPT的情绪及其随时间的变化。
• 识别与ChatGPT相关的主要讨论话题，并分析各话题内的情绪趋势。
• 考察讨论ChatGPT的用户的职业背景，并探索不同职业群体的话题偏好。
• 为开发者、教育工作者及政策制定者提供对类似大型语言模型（如ChatGPT）公众认知的洞察。

提出的方法

• 在120万条与ChatGPT相关的推文上应用XLM-T和Twitter-roBERTa模型进行情感分析。
• 采用基于LDA的主题建模方法，以发现并按时间顺序对重复出现的讨论主题进行排序。
• 通过将推特用户个人简介中的单字词组和双字词组与整理好的职业列表（标题→职业、修饰语→职业、关键词→职业）进行匹配，提取用户职业信息。
• 优先考虑用户简介中较早出现的术语，并对模糊匹配采用多数投票法，以提高职业提取的准确性。
• 通过1,000个手动标注样本评估模型性能，最终选择XLM-T模型进行情感分析，因其与人工标注的情绪分布更吻合。

实验结果

研究问题

• RQ1 推特上公众对ChatGPT的情绪如何？其随时间如何演变？
• RQ2 人们在讨论哪些与ChatGPT相关的话题？各话题内的情绪趋势如何？
• RQ3 在推特上讨论ChatGPT的用户的职业背景是什么？各职业群体关注哪些话题？

主要发现

• 推特上对ChatGPT的整体情绪以中性至积极为主，负面情绪随时间推移呈下降趋势。
• 最受关注的话题依次为教育、Bard、搜索引擎、OpenAI、市场营销和网络安保，且每月话题排名有所变化。
• 艺术与娱乐行业的用户是讨论ChatGPT最频繁的群体，其次为计算机与数学领域用户，以及学术与研究领域用户。
• 职业相关性影响了话题关注重点：网络安保在计算机与数学专业人士中讨论最频繁，而教育则在学术与研究人员中占主导地位。
• XLM-T模型在与人工标注情绪分布的匹配度上优于Twitter-roBERTa，但两者均低估了负面情绪，高估了正面情绪。
• 职业信息提取的成功率为60.37%（其中标题与修饰语贡献48.35%，关键词贡献+12.02%），多数投票机制有效提升了模糊匹配的准确性。