[论文解读] Towards Equalised Odds as Fairness Metric in Academic Performance Prediction

Jannik Dunkelau, Manh Khoi Duong|arXiv (Cornell University)|Sep 29, 2022

Online Learning and Analytics被引用 5

一句话总结

本文主张，基于学术表现预测（APP）系统的'所见即所得'（WYSIWYG）世界观及其对长期公平性的潜在影响，等化奇偶性（equalised odds）是最适合的公平性度量指标。它表明，等化奇偶性通过确保不同人口群体的真正率和假正率相等，更好地契合负责任的APP，相较于人口均等性及其他公平性概念在此语境下表现更优。

ABSTRACT

The literature for fairness-aware machine learning knows a plethora of different fairness notions. It is however wellknown, that it is impossible to satisfy all of them, as certain notions contradict each other. In this paper, we take a closer look at academic performance prediction (APP) systems and try to distil which fairness notions suit this task most. For this, we scan recent literature proposing guidelines as to which fairness notion to use and apply these guidelines onto APP. Our findings suggest equalised odds as most suitable notion for APP, based on APP's WYSIWYG worldview as well as potential long-term improvements for the population.

研究动机与目标

• 确定最适合学术表现预测（APP）系统之公平性概念。
• 在APP独特的操作与伦理语境下评估公平性度量指标。
• 评估等化奇偶性、人口均等性或其他公平性概念中，哪一种最能支持负责任且公平的APP。
• 考察公平性度量指标对学生长期结果及系统信任的影响。
• 为APP研究与实践中的公平性度量选择提供原则性依据。

提出的方法

• 作者基于世界观框架分析公平性概念，尤其区分'所见即所得'（WYSIWYG）与'你所期望'（WAE）两种视角。
• 通过文献综述推导出选择公平性度量的指导原则，重点关注基于均等性的概念，如人口均等性和等化奇偶性。
• 等化奇偶性被正式定义为：在不同人口群体中，真正率（TPR）与假正率（FPR）必须相等，即 P(Ŷ=1|Y=1,Z=z) = P(Ŷ=1|Y=1) 与 P(Ŷ=1|Y=0,Z=z) = P(Ŷ=1|Y=0)。
• 本研究通过将其与APP的实际应用场景（即学生干预的早期预警系统）关联，评估等化奇偶性的适用性。
• 将等化奇偶性与人口均等性进行对比，强调后者忽视真实标签，甚至可通过随机预测实现。
• 作者还考虑了诸如非边际性（infra-marginality）等局限性，以及对群体特定阈值的需求，同时讨论了与其他公平性概念（如预测均等性与个体公平性）的权衡。

实验结果

研究问题

• RQ1 在人口均等性、等化奇偶性或其他概念中，哪一种最适合作为学术表现预测系统的公平性概念？
• RQ2 WYSIWYG世界观在APP中如何影响公平性度量的选择？
• RQ3 等化奇偶性在多大程度上支持长期公平性并减少学生结果中的系统性偏见？
• RQ4 在现实APP系统中应用等化奇偶性的实际局限性是什么？
• RQ5 学生对公平性的感知在多大程度上与等化奇偶性度量一致？

主要发现

• 等化奇偶性被确定为学术表现预测最合适的公平性度量，因其与WYSIWYG世界观高度契合。
• 研究发现，与人口均等性相比，等化奇偶性更能支持学生结果的长期公平性与公正性。
• 人口均等性被认为不太合适，因其与真实标签无关，甚至可通过非歧视但无意义的预测实现。
• 等化奇偶性通过确保不同人口群体的真正率与假正率相等，保障了公平性，这与准确早期预警系统的目标一致。
• 本文承认存在非边际性及对群体特定阈值的需求等局限性，但认为这些在APP语境下可管理。
• 学生对公平性的感知可能更倾向于程序公平性，而等化奇偶性支持这一点；尽管部分学生偏好分配公平性，但可能需要权衡。