[论文解读] Social Reader Perusall -- a Highly Effective Tool and Source of Formative Assessment Data

Jozef Hanč, Martina Hančová+1 more|arXiv (Cornell University)|Aug 14, 2023

Online Learning and AnalyticsComputer Science被引用 3

一句话总结

本文评估了 Perusall——一款基于人工智能的社交标注平台——作为 STEM 教育中形成性评价和主动学习的变革性工具。通过支持异步、协作式的数字材料标注并生成详细的分析数据，Perusall 提升了学生的参与度，支持了个性化教学，并显著改善了混合式和翻转课堂的学习成果，尤其是在疫情期间。

ABSTRACT

The contribution provides a detailed exploration of the online platform Perusall as an advanced social annotation technology in teaching and learning STEM disciplines. This exploration is based on the authors' insights and experiences from three years of implementing Perusall at P.J. Šafárik University in Košice, Slovakia. While the concept of social annotation technology and its educational applications are not novel, Perusall's advanced features, including AI and data science reports, enable its use in both synchronous and asynchronous blended and flipped learning environments. In this context, Perusall serves as a digital tool for collecting formative data, monitoring student progress, and identifying areas of difficulty. This assessment data can be effectively utilized in preparing and personalizing subsequent face-to-face group interactions, thereby enhancing and improving the learning experience. From a pedagogical viewpoint, Perusall's role was particularly significant during the Covid-19 pandemic, enabling effective, continuous, and engaging learning amidst social distancing and physical restrictions. Today, Perusall has become a key tool in blended learning, facilitating higher-order cognitive processes during the educational process and, with its multifaceted applications, serves as a modern catalyst in redefining educational experiences and outcomes.

研究动机与目标

• 评估 Perusall 作为社交标注工具在提升 STEM 教育中学生参与度和形成性评价方面的有效性。
• 探讨 Perusall 如何通过自动化数据收集和分析支持混合式和翻转学习模式。
• 展示该平台在新冠疫情期间维持教育连续性的作用。
• 整合数据科学工具（Python、Pandas、Selenium）以实现对学生标注数据的自动化处理和可视化。
• 评估 Perusall 在通过协作标注帮助学生为面对面授课做准备方面的实用性，包括识别学生的误解和活动模式。

提出的方法

• 作者于 2020 年至 2022 年期间在科希策的 P.J. Šafárik 大学多个 STEM 课程中实施 Perusall，用于对数字内容进行异步、协作式标注。
• 学生标注内容——包括评论和问题——通过使用 Python、Pandas 和 Selenium 构建的自定义 Jupyter 笔记本实现自动化数据提取和处理，进而被收集和分析。
• 采用箱线图和蜂群图等数据可视化技术，展示学生参与度、参与水平以及按类型（评论与问题）划分的标注分布情况。
• 平台的人工智能分析功能提供了关于学生理解程度的洞察，识别出具有高影响力的讨论话题和存在困难的内容区域。
• 团队在多种教育场景中使用 Perusall，包括同伴教学、实验准备以及科学竞赛培训。
• 本研究利用开源数据科学工具，确保了数据分析工作流的可复现性和可扩展性。

Figure 1: A view of the online platform Perusall during the Perusall Exchange 2022 conference. At the top, we see the types of contributions [ 1 ] , and at the bottom, we see a conference contribution in the form of a poster [ 6 ] .

实验结果

研究问题

• RQ1 Perusall 如何在混合式和翻转式 STEM 学习环境中支持形成性评价？
• RQ2 Perusall 在多大程度上增强了异步在线学习中的学生参与度与协作？
• RQ3 学生标注的自动化数据分析如何为面对面授课提供信息支持并加以改进？
• RQ4 Perusall 在新冠疫情期间在维持教育连续性方面发挥了什么作用？
• RQ5 Perusall 通过协作标注在帮助学生为实验课和学术竞赛做准备方面有多高效？

主要发现

• Perusall 通过支持异步、协作式数字内容标注，显著提升了学生参与度，超过 2,000 名参与者活跃于 2022 年 Perusall Exchange 会议。
• 平台的人工智能分析生成了可操作的形成性评价数据，使教师能够识别学生的误解，并在面对面授课中优先处理相关内容。
• 使用 Python、Pandas 和 Selenium 构建的自定义数据管道实现了毫秒级的实时标注数据处理与可视化，显著减少了人工工作量。
• 箱线图和蜂群图有效可视化了学生参与情况，清晰展示了不同内容类型中评论与问题分布的显著模式。
• 在疫情期间，Perusall 成为不可或缺的工具，使持续、互动且富有成效的学习成为可能，即使面临物理隔离和机构限制。
• 该平台支持多种教育应用场景，包括同伴教学、实验准备以及科学竞赛培训，展现出广泛的教育适用性。

Figure 2: Perusall as a modern digital educational technology combining three digital technologies.