[论文解读] Watching the watchers: bias and vulnerability in remote proctoring software

Ben Burgess, Avi Ginsberg+2 more|arXiv (Cornell University)|May 6, 2022

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

本论文对美国法学院和州律师资格考试中使用的四大主流远程监考套件进行了首次技术逆向工程，揭示其反作弊措施可被轻易绕过，且其面部识别系统存在种族偏见， disproportionately 将肤色较深的个体标记为作弊。研究显示，由于存在持久的特权访问和监控，这些系统带来重大隐私风险，并建议以人工审核和替代评估方法取代面部识别。

ABSTRACT

Educators are rapidly switching to remote proctoring and examination software for their testing needs, both due to the COVID-19 pandemic and the expanding virtualization of the education sector. State boards are increasingly utilizing these software for high stakes legal and medical licensing exams. Three key concerns arise with the use of these complex software: exam integrity, exam procedural fairness, and exam-taker security and privacy. We conduct the first technical analysis of each of these concerns through a case study of four primary proctoring suites used in U.S. law school and state attorney licensing exams. We reverse engineer these proctoring suites and find that despite promises of high-security, all their anti-cheating measures can be trivially bypassed and can pose significant user security risks. We evaluate current facial recognition classifiers alongside the classifier used by Examplify, the legal exam proctoring suite with the largest market share, to ascertain their accuracy and determine whether faces with certain skin tones are more readily flagged for cheating. Finally, we offer recommendations to improve the integrity and fairness of the remotely proctored exam experience.

研究动机与目标

• 调查用于高风险法律和医学执照考试的远程监考软件在技术安全和隐私方面存在的风险。
• 评估监考系统中使用的面部识别分类器的公平性和准确性，特别是针对不同肤色群体的表现。
• 评估学生在面临机构压力且缺乏替代方案的情况下，是否能真正实现对侵入式监控的知情同意。
• 识别监考软件中可能破坏考试完整性与程序公平性的系统性漏洞。
• 为教育工作者、机构和供应商提供可操作的建议，以提升远程监考在安全性、隐私保护和公平性方面的表现。

提出的方法

• 使用静态和动态分析技术，对四大主流监考套件——Examplify、ILG Exam360、Exam4 和 Electronic Blue Book——进行逆向工程。
• 提取并分析了 Examplify 所使用的面部识别模型，确认其为 'face-api.js'，并发现其使用公开可用的预训练模型。
• 在多样化数据集上，将这些面部识别模型的性能与最先进分类器进行对比，以评估其表现和偏见。
• 收集并分析了服务条款、用户界面和系统日志，以评估用户同意、监控范围和数据传输实践。
• 通过威胁建模，评估不同技术水平的攻击者（学生、计算机科学学生、逆向工程师）绕过安全控制措施的可行性。
• 映射考试结束后特权系统服务的持久性，并分析其长期隐私风险。

实验结果

研究问题

• RQ1 广泛使用的远程监考套件中的反作弊机制，是否可被技术能力较低的攻击者轻易绕过？
• RQ2 监考软件中使用的面部识别系统在误报率方面，对不同种族群体是否存在显著偏见？
• RQ3 监考软件的隐私和安全实践如何损害知情同意和用户自主权？
• RQ4 考试后仍持续安装在学生设备上的特权软件，会带来哪些长期风险？
• RQ5 哪些技术和政策变革能够提升远程监考在公平性、完整性与隐私保护方面的表现？

主要发现

• 所有四个被分析的监考套件均会在考试后持续安装高度特权的系统服务，可访问用户的所有活动记录，包括考试前创建的日志。
• Examplify 使用的面部识别系统 'face-api.js' 在不同种族群体中表现出显著的准确性差异，肤色较深的个体更容易被错误标记为作弊。
• 尽管声称具备高安全性，但所有反作弊措施均可被熟练攻击者轻易绕过，表明其威胁模型存在根本性缺陷。
• 考试期间，考试前生成的系统日志会被传输至供应商服务器，违反了最小数据收集原则。
• 该软件的反调试和混淆技术阻止了独立的安全分析，损害了透明度并削弱了用户信任。
• 本研究未发现现有面部识别模型可通过简单校准消除种族偏见的证据，除非进行重大架构重构并引入多样化焦点小组的参与。