[论文解读] Outcome-Based Quality Assessment Framework for Higher Education

Samiya Khan, Mansaf Alam|arXiv (Cornell University)|Mar 15, 2017

Evaluation and Performance Assessment参考文献 7被引用 4

一句话总结

本文提出了一种基于成果的高等教育质量评估框架，通过毕业生就业情况和深造等毕业后学生表现来评估院校绩效。利用云平台上的BigQuery和R进行大数据分析，研究证明，追踪长期学生成功可提供一种稳健、数据驱动的机构质量度量标准，弥补了现有评估模型中的关键空白。

ABSTRACT

This research paper proposes a quality framework for higher education that evaluates the performance of institutions on the basis of performance of outgoing students. Literature was surveyed to evaluate existing quality frameworks and develop a framework that provides insights on an unexplored dimension of quality. In order to implement and test the framework, cloud-based big data technology, BigQuery, was used with R to perform analytics. It was found that how the students fair after passing out of a course is the outcome of educational process. This aspect can also be used as a quality metric for performance evaluation and management of educational organizations. However, it has not been taken into account in existing research. The lack of an integrated data collection system and rich datasets for educational intelligence applications, are some of the limitations that plague this area of research. Educational organizations are responsible for the performance of their students even after they complete their course. The inclusion of this dimension to quality assessment shall allow evaluation of educational institutions on these grounds. Assurance of this quality dimension shall boost enrolments in postgraduate and research degrees. Moreover, educational institutions will be motivated to groom students for placements or higher studies.

研究动机与目标

• 解决缺乏整合毕业生长期表现的高等教育质量评估框架的问题。
• 识别并整合毕业后表现指标（如就业和深造）到院校评估中。
• 利用基于云的大数据技术开发可扩展、数据驱动的教育质量评估框架。
• 通过以成果为导向的问责机制，激励院校提升学生在就业和研究生学习方面的准备度。

提出的方法

• 该框架基于以下前提：毕业生的学业成果反映了教育过程的真实质量。
• 使用BigQuery作为云数据仓库，用于存储和管理大规模教育数据集。
• 使用R进行统计分析和数据可视化，从纵向学生表现数据中提取洞察。
• 该框架将就业、深造和职业发展数据整合为关键绩效指标。
• 开展了系统性文献综述，以识别现有质量评估模型中的空白，并验证所提出的成果导向方法。
• 实施过程展示了实时、可扩展分析在教育智能与院校评估中的实际应用。

实验结果

研究问题

• RQ1 如何系统性地衡量和利用毕业生表现作为高等教育机构质量的度量标准？
• RQ2 现有质量评估框架在捕捉长期学生成功方面存在哪些局限性？
• RQ3 如何利用BigQuery和R等大数据技术实现可扩展的、基于成果的教育机构评估？
• RQ4 将毕业生表现纳入评估后，能在多大程度上提升机构质量评估的准确性和公平性？
• RQ5 当绩效基于毕业生表现进行评估时，会激励院校产生哪些行为改变？

主要发现

• 研究证实，毕业生表现（如就业和研究生项目入学）是衡量机构质量的强有力且可量化的指标。
• 将基于成果的指标整合到质量评估中，可显著提升高等教育机构的透明度和问责性。
• 基于云的大数据平台（如BigQuery）能够高效存储和分析用于成果追踪的大型复杂教育数据集。
• 现有质量评估框架大多忽视毕业生表现，导致全面院校评估中存在关键空白。
• 引入基于成果的评估可激励院校提升学生在就业和研究生教育方面的准备度。
• 通过R和BigQuery的实施证明了该框架在可行性与可扩展性方面的优势，展示了其在真实教育环境中的实际应用潜力。