[论文解读] The implications of Labour's plan to scrap Key Stage 2 tests for Progress 8 and secondary school accountability in England

George Leckie, Lucy Prior+1 more|arXiv (Cornell University)|Nov 15, 2019

School Choice and Performance参考文献 17被引用 4

一句话总结

本文評估工黨在英格蘭廢除 Key Stage 2（KS2）測驗的提案，主張取消 KS2 數據將使現行中學學校績效評估指標 Progress 8 失效。作者證明，僅使用 GCSE 成績並根據學生背景因素調整的「調整後成就 8」指標，相比 Progress 8，對服務弱勢學生的學校而言，既不公平也較無意義。

ABSTRACT

In England, Progress 8 is the Conservative government's headline secondary school performance and accountability measure. Progress 8 attempts to measure the average academic progress pupils make in each school between their KS2 tests and their GCSE Attainment 8 examinations. The Labour opposition recently announced they would scrap the KS2 tests were they to be elected. Such a move, however, would preclude the publication of Progress 8 and would leave schools to be compared in terms of their average Attainment 8 scores or, at best, their Attainment 8 scores only adjusted for school differences in pupil demographic and socioeconomic characteristics. In this paper, we argue and illustrate empirically that this best-case scenario of an 'Adjusted Attainment 8' measure would prove less fair and meaningful than Progress 8 and therefore a backwards step, especially when Progress 8 itself has been criticised as biased against schools teaching educationally disadvantaged intakes.

研究动机与目标

• 評估廢除英格蘭中學 Key Stage 2（KS2）測驗對中學學校 Progress 8 評估框架的影響。
• 評估「調整後成就 8」指標（基於 GCSE 成績與學生背景特徵）是否可作為 Progress 8 的公平且具意義的替代方案。
• 調查此替代方案是否對服務教育弱勢學生的學校較不公平。
• 提供實證證據，說明 Progress 8 與其他評估方式在公平性與統計有效性方面的差異。
• 主張取消 KS2 數據將導致學校評估制度倒退，儘管 Progress 8 存在偏誤批評。

提出的方法

• 作者使用英格蘭中學的實證數據，模擬取消 KS2 測驗成績對評估指標的影響。
• 比較 Progress 8（定義為從 KS2 到 GCSE 的平均進步）與另一項替代指標：根據學生背景與社會經濟特徵調整後的成就 8。
• 應用統計模型評估公平性與可靠性，重點分析各指標在不同學生群體中預測學生表現的能力。
• 分析涵蓋在現行 Progress 8 制度與 proposed 替代方案下，評估結果的模擬。
• 使用回歸技術對成就 8 成績進行學生背景調整，評估所得指標的歧視性影響。
• 作者透過檢視不同弱勢程度學校之間評估結果差異，評估各指標的公平性。

实验结果

研究问题

• RQ1 若廢除 Key Stage 2 測驗，對學校評估制度將產生何種影響？
• RQ2 「調整後成就 8」指標在公平性與統計有效性方面，與 Progress 8 相比如何？
• RQ3 缺少 KS2 數據是否會導致服務弱勢學生的學校面臨較不公平的制度？
• RQ4 Progress 8 對高比例弱勢學生學校的現有偏誤，在多大程度上影響其正當性？
• RQ5 僅基於 GCSE 成績的評估體系，即使進行背景調整，能否提供公平且具意義的學校表現衡量指標？

主要发现

• 廢除 Key Stage 2 測驗將使 Progress 8 無法計算，因其依賴 KS2 的先前成就數據。
• 「調整後成就 8」指標雖理論上可能更公平，但實際上較不公義且較無意義，不如 Progress 8。
• 作者發現，儘管 Progress 8 存在已知偏誤，其仍比僅基於 GCSE 成績的任何替代指標更具穩健性與資訊量。
• 服務弱勢學生的學校在 proposed 替代方案下將受到不成比例的不利影響，因缺少 KS2 數據導致無法建立衡量進步的關鍵基準。
• 研究顯示，即使成就 8 經背景調整，所得指標在統計效能與公平性方面仍不如 Progress 8。
• 本文結論認為，廢除 KS2 測驗將是學校評估制度的倒退，破壞表現衡量的準確性與公平性。