[论文解读] Predicting Engagement in Video Lectures

Sahan Bulathwela, María Pérez‐Ortiz+3 more|arXiv (Cornell University)|May 31, 2020

Online Learning and Analytics参考文献 32被引用 14

一句话总结

本论文提出了一种基于跨模态特征与模态特异性特征的上下文无关视频讲座参与度预测模型，表明仅使用基于语言的特征即可实现优异性能。基于涵盖20个学科的4,000多段讲座的新型数据集，随机森林模型优于其他模型，讲座时长是最具影响力的特征，且该模型有效缓解了教育推荐系统中的冷启动问题。

ABSTRACT

The explosion of Open Educational Resources (OERs) in the recent years creates the demand for scalable, automatic approaches to process and evaluate OERs, with the end goal of identifying and recommending the most suitable educational materials for learners. We focus on building models to find the characteristics and features involved in context-agnostic engagement (i.e. population-based), a seldom researched topic compared to other contextualised and personalised approaches that focus more on individual learner engagement. Learner engagement, is arguably a more reliable measure than popularity/number of views, is more abundant than user ratings and has also been shown to be a crucial component in achieving learning outcomes. In this work, we explore the idea of building a predictive model for population-based engagement in education. We introduce a novel, large dataset of video lectures for predicting context-agnostic engagement and propose both cross-modal and modality-specific feature sets to achieve this task. We further test different strategies for quantifying learner engagement signals. We demonstrate the use of our approach in the case of data scarcity. Additionally, we perform a sensitivity analysis of the best performing model, which shows promising performance and can be easily integrated into an educational recommender system for OERs.

研究动机与目标

• 解决开放教育资料（OER）中群体参与度预测缺乏可扩展、自动化方法的问题。
• 开发一种上下文无关的参与度模型，以捕捉独立于个体学习者上下文的资源级参与度。
• 通过实现对新内容和新用户参与度的早期估计，缓解教育推荐系统中的数据稀缺问题。
• 探究跨模态特征（如文本、音频）与模态特异性特征在预测参与度方面的有效性。
• 验证单一通用模型是否能在不同知识领域中实现泛化。

提出的方法

• 构建了一个大规模、公开发布的视频讲座数据集，包含4,000多段讲座，覆盖20个多样化学科。
• 从转录文本、音频和视频元数据中提取跨模态特征，重点关注语言和结构属性。
• 应用模态特异性特征（如音频质量、视觉动态）以评估其增量价值。
• 训练并比较多种机器学习模型，随机森林被确定为性能最佳的算法。
• 使用基于排名的评估指标，评估模型在按参与度水平对讲座进行排序时的表现。
• 开展敏感性分析与消融研究，评估特征重要性及模型在不同知识领域中的鲁棒性。

实验结果

研究问题

• RQ1 RQ1：如何以可扩展且独立于个体学习者上下文的方式编码上下文无关的参与度？
• RQ2 RQ2：基于语言的跨模态特征在预测视频讲座参与度方面有多有效？
• RQ3 RQ3：引入模态特异性特征是否能显著提升性能？
• RQ4 RQ4：哪些特征对上下文无关参与度的影响最大？
• RQ5 RQ5：与个性化参与度模型相比，预测边际群体参与度是否有实际效用？
• RQ6 RQ6：能否在不同知识领域中使用同一基础模型进行参与度预测？

主要发现

• 随机森林模型在所有评估模型中表现最佳，展现出在参与度预测任务上的强大泛化能力。
• 仅使用跨模态语言特征即可提供令人满意的预测性能，表明其在可扩展、自动化参与度建模中的实用性。
• 引入模态特异性特征带来了轻微的性能提升，但未实现显著改进，表明跨模态特征已足以实现稳健预测。
• 讲座时长被识别为预测上下文无关参与度的最关键特征，与先前研究结果一致。
• 当对参与度水平差异较大的讲座进行排序时，模型表现显著优于在区分相似参与度水平的讲座时的表现。
• 在不同知识领域上联合训练的单一通用模型优于领域特定模型，验证了共享基础参与度模型的可行性。