[论文解读] Tracking Behavioral Patterns among Students in an Online Educational System

Stephan Sloth Lorenzen, Niklas Hjuler+1 more|arXiv (Cornell University)|Aug 21, 2019

Online Learning and Analytics被引用 6

一句话总结

本研究对2015–2017年间来自14,810名丹麦小学生的300万次会话数据（覆盖112周）应用非负矩阵分解（NMF），以识别在线教育系统中的软行为聚类。研究发现，语言学科学生从测验练习中受益最多，而社会与科学学科在较高阶布卢姆分类学层级上的使用不足；总体而言，学生在系统中的停留时间显著增加，尤其在语言学习方面表现明显。

ABSTRACT

Analysis of log data generated by online educational systems is an essential task to better the educational systems and increase our understanding of how students learn. In this study we investigate previously unseen data from Clio Online, the largest provider of digital learning content for primary schools in Denmark. We consider data for 14,810 students with 3 million sessions in the period 2015-2017. We analyze student activity in periods of one week. By using non-negative matrix factorization techniques, we obtain soft clusterings, revealing dependencies among time of day, subject, activity type, activity complexity (measured by Bloom's taxonomy), and performance. Furthermore, our method allows for tracking behavioral changes of individual students over time, as well as general behavioral changes in the educational system. Based on the results, we give suggestions for behavioral changes, in order to optimize the learning experience and improve performance.

研究动机与目标

• 了解学生在在线教育系统中的活动与学习表现之间的相关性。
• 探究不同学科在练习中对布卢姆分类学不同层级的使用情况。
• 追踪个体学生及系统整体随时间的行为变化。
• 识别有助于提升教育成果的最优与次优学习行为。

提出的方法

• 对每周学生活动数据应用非负矩阵分解（NMF），生成行为模式的软聚类。
• 会话通过连续页面访问间600秒的时间阈值定义，测验被视为独立会话。
• 特征包括一天中的时间、学科、活动类型、练习复杂度（布卢姆分类学层级）以及测验分数等表现指标。
• 在聚合的每周数据上进行一次聚类，以追踪个体与系统整体的行为演变。
• 对112个每周周期的聚类成员身份进行追踪，以检测趋势与相关性。
• 使用余弦相似度在时间维度上匹配聚类，实现纵向行为分析。

实验结果

研究问题

• RQ1 学生在在线系统中的活动如何影响学业表现？
• RQ2 不同学科中布卢姆分类学各层级的使用分布如何？
• RQ3 学生中占主导地位的行为模式是什么？这些模式如何随时间演变？
• RQ4 哪些活动类型（如测验、阅读）在特定学科中对提升表现最为有效？
• RQ5 系统整体的行为趋势与节假日及学校假期之间是否存在相关性？

主要发现

• 与在校期间使用系统相比，学生在非上课时间（如在家）使用系统并未带来显著的表现提升。
• 参与测验显著提升了语言学科的表现，表明基于练习的活动对语言学习尤为有效。
• 在语言学科中，学生主要参与‘阅读与理解’层级的任务，而对更高阶思维技能（分析、评价、创造）的使用则更为均衡。
• 在社会学科中，学生在‘分析’与‘评价’层级表现出强烈参与，但对‘创造’层级任务的使用极少。
• 在科学学科中，较高阶布卢姆分类学层级（分析、评价、创造）使用不足，大多数活动集中于较低层级。
• 语言学科学生每周平均在系统中花费的时间从15分钟增至45分钟，社会与科学学科学生则从15分钟增至25分钟，表明系统参与度随时间显著提升。