[论文解读] Towards a Recommender System for Undergraduate Research

Felipe del-Rio, Denis Parra+2 more|arXiv (Cornell University)|Jun 20, 2017

Online Learning and Analytics参考文献 5被引用 4

一句话总结

本文提出了一种个性化推荐系统，通过预测学生兴趣并推荐相关研究机会，以提升本科生的研究参与度。基于学生和机会特征，使用GBT和逻辑回归模型，成功将潜在申请者的识别精度提升至72.7%，推荐任务的MAP最高达0.20，为学术机构建立了强有力的基线。

ABSTRACT

Several studies indicate that attracting students to research careers requires to engage them from early undergraduate years. Following this paradigm, our Engineering School has developed an undergraduate research program that allows students to enroll in research in exchange for course credits. Moreover, we developed a web portal to inform students about the program and the opportunities, but participation remains lower than expected. In order to promote student engagement, we attempt to build a personalized recommender system of research opportunities to undergraduates. With this goal in mind we investigate two tasks. First, one that identifies students that are more willing to participate on this kind of program. A second task is generating a personalized list of recommendations of research opportunities for each student. To evaluate our approach, we perform a simulated prediction experiment with data from our School, which has more than 4,000 active undergraduate students nowadays. Our results indicate that there is a big potential to create a personalized recommender system for this purpose. Our results can be used as a baseline for colleges seeking strategies to encourage research activities within undergraduate students.

研究动机与目标

• 为解决本科生研究项目参与度低的问题，开发个性化推荐系统以提高学生参与度。
• 基于学术和历史数据，识别最有可能参与研究机会的学生。
• 根据个人学生档案，生成个性化研究机会推荐。
• 评估利用机器学习提升早期职业生涯研究参与度的可行性。
• 为希望在其学术支持平台中整合推荐系统的机构提供基线参考。

提出的方法

• 使用了2012年至2016年共五年的数据集，包含10,546名本科生工程专业学生和1,017项研究机会，共1,624次申请。
• 将学生参与预测建模为二分类任务，使用学期数、已批准学分、GPA以及以往IPre申请记录等特征。
• 将研究机会推荐建模为排序问题，使用平均精度均值（MAP）作为评估指标。
• 采用三种特征集：(1) 基本学术特征，(2) 增加教授-课程交互特征（ht），(3) 增加院系课程匹配信息。
• 训练并比较了多种分类器：逻辑回归（LogReg）、梯度提升决策树（GBT）和支持向量机（SVM）。
• 通过2014年前的数据进行训练，2014年后的数据进行测试，使用准确率、精确率、F-1值和MAP评估模型性能。

实验结果

研究问题

• RQ1 我们能否基于学生的学术档案，准确预测其参与研究机会的可能性？
• RQ2 哪些特征（如以往IPre申请经历、GPA或课程-教授匹配度）对提升预测性能影响最大？
• RQ3 不同机器学习模型在为学生推荐相关研究机会方面的有效性如何？
• RQ4 将课程描述与研究机会摘要之间的内容相似度纳入模型，能在多大程度上提升推荐质量？
• RQ5 在本科生研究参与的背景下，个性化推荐系统是否能显著优于随机推荐？

主要发现

• 在学生参与预测任务中表现最佳的模型（GBT）达到92.0%准确率、72.7%精确率和0.54的F-1分数，显著优于基线模型。
• 将以往IPre申请记录作为特征，对预测性能的提升最为显著，尤其在与GPA结合时效果更佳。
• 在推荐任务中，表现最佳的模型（使用全部特征的LogReg）达到0.20的平均精度均值（MAP），是k=20时随机基线的14.6倍。
• 了解学生是否曾修读过提供该机会的教师所教授的课程（ht特征）在推荐任务中带来了最大的性能提升。
• 增加院系课程匹配信息可进一步提升推荐质量，但其增益程度低于ht特征。
• 结果表明，在学术环境中部署个性化推荐系统以增强本科生早期研究参与度具有高度可行性。