[论文解读] Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data

Anna‐Carolina Haensch, Sarah Ball+2 more|arXiv (Cornell University)|Mar 9, 2023

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

该研究分析了带有 #chatgpt 的前 100 条最受欢迎英文 TikTok 视频（2023 年 2 月），以从学生视角描述主题、参与度和教育意义。

ABSTRACT

Advanced large language models like ChatGPT have gained considerable attention recently, including among students. However, while the debate on ChatGPT in academia is making waves, more understanding is needed among lecturers and teachers on how students use and perceive ChatGPT. To address this gap, we analyzed the content on ChatGPT available on TikTok in February 2023. TikTok is a rapidly growing social media platform popular among individuals under 30. Specifically, we analyzed the content of the 100 most popular videos in English tagged with #chatgpt, which collectively garnered over 250 million views. Most of the videos we studied promoted the use of ChatGPT for tasks like writing essays or code. In addition, many videos discussed AI detectors, with a focus on how other tools can help to transform ChatGPT output to fool these detectors. This also mirrors the discussion among educators on how to treat ChatGPT as lecturers and teachers in teaching and grading. What is, however, missing from the analyzed clips on TikTok are videos that discuss ChatGPT producing content that is nonsensical or unfaithful to the training data.

研究动机与目标

• 了解学生如何从 TikTok 学习关于 ChatGPT，以及哪些主题主导 discourse。
• 评估与 ChatGPT 相关的宣传与批评内容在点赞、分享、观看数等方面的参与模式。
• 识别学生知识的差距及对教学和学术诚信的影响。

提出的方法

• 在同一天（2023 年 2 月 7 日）收集带有标签 #chatgpt 的前 100 条英文 TikTok 视频。
• 记录指标：每条视频的累计观看量、点赞、分享以及创作者 ID。
• 开发并应用手动内容分类方案，使用迭代 coder 一致性（两位作者；对随机样本进行可靠性检查）。
• 使用 Cohen’s κ 来评估评审者间一致性（报告为 0.896）。
• 将视频分为主要类别（宣传、批评、带 ChatGPT 的商业、社会未来、AI 工具清单、娱乐）并为前两类设立子类别。

Figure 1: Play, like, and share count for all the selected videos.

实验结果

研究问题

• RQ1 在英文内容中，关于 ChatGPT 的最受欢迎的 TikTok 视频中，哪些主题和话题占主导？
• RQ2 在 TikTok 上，宣传性与批评性 ChatGPT 视频的参与度指标（点赞、分享、观看次数）有何差异？
• RQ3 在这些顶级视频中，学术追求相关内容的存在程度如何，与教育实践有何关联？

主要发现

• 100 条视频中有 53 条是宣传性的，并对 ChatGPT 给出积极评价。
• 平均宣传视频：213,081 点赞，9,013 次分享，2,133,447 观看。
• 平均批评视频：312,417 点赞，7,935 次分享，2,828,875 观看。
• 宣传总计：11,293,300 点赞，477,670 次分享，113,072,700 观看。
• 批评总计：3,749,000 点赞，95,224 次分享，33,946,500 观看。
• Welch 两样本 t 检验显示宣传与批评计数的均值差异不显著，但宣传内容总体获得的参与性显著更高。

Figure 2: Play, like and share count for the selected videos, grouped by category.