[论文解读] The Mastery Rubric for Statistics and Data Science: promoting coherence and consistency in data science education and training

Rochelle E. Tractenberg, Donna LaLonde+1 more|arXiv (Cornell University)|Aug 15, 2023

Statistics Education and MethodologiesMathematics被引用 3

一句话总结

该论文提出了统计学与数据科学 Mastery 量规（MR-SDS），一种通过映射各发展阶段的知识、技能与能力（KSAs）来标准化课程开发与评估的框架。该框架能够一致、基于证据地评估学生在统计学、计算及特定领域应用方面的独立性与熟练程度，支持从本科到博士学位层次的数据科学教育的一致性。

ABSTRACT

Consensus based publications of both competencies and undergraduate curriculum guidance documents targeting data science instruction for higher education have recently been published. Recommendations for curriculum features from diverse sources may not result in consistent training across programs. A Mastery Rubric was developed that prioritizes the promotion and documentation of formal growth as well as the development of independence needed for the 13 requisite knowledge, skills, and abilities for professional practice in statistics and data science, SDS. The Mastery Rubric, MR, driven curriculum can emphasize computation, statistics, or a third discipline in which the other would be deployed or, all three can be featured. The MR SDS supports each of these program structures while promoting consistency with international, consensus based, curricular recommendations for statistics and data science, and allows 'statistics', 'data science', and 'statistics and data science' curricula to consistently educate students with a focus on increasing learners independence. The Mastery Rubric construct integrates findings from the learning sciences, cognitive and educational psychology, to support teachers and students through the learning enterprise. The MR SDS will support higher education as well as the interests of business, government, and academic work force development, bringing a consistent framework to address challenges that exist for a domain that is claimed to be both an independent discipline and part of other disciplines, including computer science, engineering, and statistics. The MR-SDS can be used for development or revision of an evaluable curriculum that will reliably support the preparation of early e.g., undergraduate degree programs, middle e.g., upskilling and training programs, and late e.g., doctoral level training practitioners.

研究动机与目标

• 解决高等教育项目中数据科学教育的不一致性问题。
• 提供一种标准化的课程设计框架，强调发展性进步与独立性。
• 使数据科学项目与国际共识性统计学与数据科学教育建议保持一致。
• 通过明确、可观察的 KSAs，支持将科学推理、伦理与可复现性整合到课程中。
• 基于学生熟练程度的切实证据，实现程序的可靠内部与外部评估。

提出的方法

• Mastery 量规（MR）的结构以 KSAs 为行，以发展水平（如：初学者、进展中、独立）为列。
• 每个 KSAs 在每个发展水平上均以可观察、基于表现的标准进行描述。
• 该量规整合了学习科学、认知心理学与教育理论的研究成果，以支持有意义的发展性进步。
• 它支持强调统计学、计算或跨学科整合的课程，确保各类项目之间的连贯性。
• 通过将学生作品与特定掌握阶段关联，该量规支持形成性与总结性评估。
• 它可与现有课程指南（如 NAS 2018、ASA 2016）对齐，并促进课程评估与修订。

实验结果

研究问题

• RQ1 标准化量规在多大程度上可提升不同高等教育项目中数据科学教育的一致性与连贯性？
• RQ2 学生在统计学与数据科学领域实现独立性所必需的知识、技能与能力（KSAs）的发展阶段有哪些？
• RQ3 Mastery 量规如何支持将科学推理、伦理与可复现性整合到数据科学课程中？
• RQ4 MR-SDS 在哪些方面能够实现对不同项目类型（如统计导向、计算导向、跨学科）学生熟练程度的可靠、基于证据的评估？
• RQ5 MR-SDS 如何促进课程评估与国际共识性建议的对齐？

主要发现

• 统计学与数据科学 Mastery 量规（MR-SDS）提供了一个结构化、发展性的框架，使知识、技能与能力方面的课程目标及学生进展变得清晰明确。
• 该量规通过描述在不同发展阶段的可观察表现，实现了对学生独立性的稳定评估，超越了主观或基于感知的评价方式。
• 采用 MR-SDS 的项目能够可靠地证明，无论课程重点是统计学、计算还是跨学科应用，学生在核心 KSAs 上均能达到相当的熟练水平。
• MR-SDS 支持将科学推理、伦理与可复现性作为可观察、可评估的培训组成部分，与共识性建议保持一致。
• 基于 MR-SDS 的课程可依据实际作品进行内部与外部评估，减少对可变或样本依赖性指标的依赖。
• 该框架通过提供评估掌握程度与独立性的共同语言，支持所有层次（本科、技能提升、博士）的课程开发与修订。