[论文解读] Responsible AI for Test Equity and Quality: The Duolingo English Test as a Case Study

Jill Burstein, Geoffrey T. LaFlair+3 more|arXiv (Cornell University)|Aug 28, 2024

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文介绍了 Duolingo English Test (DET) 的案例研究及其旨在确保考试公平性和质量的 Responsible AI (RAI) 实践。

ABSTRACT

Artificial intelligence (AI) creates opportunities for assessments, such as efficiencies for item generation and scoring of spoken and written responses. At the same time, it poses risks (such as bias in AI-generated item content). Responsible AI (RAI) practices aim to mitigate risks associated with AI. This chapter addresses the critical role of RAI practices in achieving test quality (appropriateness of test score inferences), and test equity (fairness to all test takers). To illustrate, the chapter presents a case study using the Duolingo English Test (DET), an AI-powered, high-stakes English language assessment. The chapter discusses the DET RAI standards, their development and their relationship to domain-agnostic RAI principles. Further, it provides examples of specific RAI practices, showing how these practices meaningfully address the ethical principles of validity and reliability, fairness, privacy and security, and transparency and accountability standards to ensure test equity and quality.

研究动机与目标

• 在高风险评估中推动对 Responsible AI 的需求，以维护考试质量和公平性。
• 描述 DET 的 RAI 标准的开发及其与领域无关的 RAI 原则的关系。
• 说明 RAI 实践如何应对关键伦理原则，以支持有效推断和公平结果。
• 展示 DET 的 RAI 框架如何促进评估中的透明度、问责制、隐私和安全。

提出的方法

• 介绍 DET 的 RAI 标准并解释其开发过程。
• 将 DET 的 RAI 标准与更广泛的领域无关的 RAI 原则联系起来。
• 提供在 DET 中应用的具体 RAI 实践示例。
• 讨论这些实践如何支持效度、可靠性、公平、隐私和安全，以及透明度与问责性。

实验结果

研究问题

• RQ1 DET 的 Responsible AI 标准与更广泛的领域无关的 RAI 原则如何对齐？
• RQ2 DET 中采用了哪些具体的 RAI 实践来解决效度、可靠性、公平、隐私和安全，以及透明度和问责性？
• RQ3 这些 RAI 实践以何种方式促进高风险、由 AI 驱动的英语语言评估中的考试公平性和考试质量？

主要发现

• 本章概述了 DET 的 RAI 标准及其开发过程。
• 它提供了在 DET 中实施的具体 RAI 实践示例。
• 讨论将这些实践与效度、可靠性、公平、隐私与安全，以及透明度和问责性的伦理原则联系起来。
• 研究结果说明了 RAI 实践如何在 AI 驱动的评估中有效解决考试公平性和质量的问题。