[论文解读] Optimal Academic Plan Derived from Articulation Agreements: A Preliminary Experiment on Human-Generated and (Hypothetical) Algorithm-Generated Academic Plans

David Van Nguyen, Shayan Doroudi+1 more|arXiv (Cornell University)|Jul 10, 2023

Scheduling and Timetabling SolutionsDecision Sciences被引用 3

一句话总结

本研究提出了一款原型优化工具，可自动计算满足多个大学转学要求的社区学院课程最小集合，利用课程衔接协议实现。在受控实验中，使用该原型的学生所制定的学术计划在最优性、速度和可用性方面均优于使用加州ASSIST系统的对照组，证明了算法辅助在转学规划中的价值。

ABSTRACT

Our preliminary experiment examined a potential pain point with ASSIST, California's database of articulation agreements. That pain point is cross-referencing multiple articulation agreements to manually develop an optimal academic plan. Optimal is defined as the minimal set of community college courses that satisfy all transfer requirements for the multiple universities a student is preparing to apply to. Accordingly, we designed a low-fidelity prototype that lists the minimal set of courses a hypothetical optimization algorithm would output based on selected articulation agreements. 24 students were tasked with creating an optimal academic plan using either ASSIST (which requires manual optimization) or the optimization prototype (which already provides the minimal set of classes). Prototype users had less optimality mistakes, were faster, and provided higher usability ratings compared to ASSIST users. Going forward, future research needs to move beyond our proof of value of a hypothetical optimization algorithm and towards actually implementing an algorithm.

研究动机与目标

• 解决手动交叉核对多个课程衔接协议以制定最优转学计划的挑战。
• 通过基于转学要求自动选择课程，减少学生在学术规划中的错误和耗时。
• 评估一种假设性优化算法在可用性和有效性方面与现有手动系统（如ASSIST）的对比表现。
• 证明算法辅助在改善社区学院学生转学规划结果方面的潜力。

提出的方法

• 开发了一款低保真度原型，模拟优化算法，以计算满足所有选定大学转学要求的社区学院课程最小集合。
• 设计该原型以处理来自加州ASSIST数据库的课程衔接协议，并识别多个院校之间的重叠或必修课程。
• 采用基于启发式的方法，在确保满足所有转学要求的前提下最小化课程数量。
• 开展一项包含24名学生的受控实验，将学生随机分配至使用ASSIST（手动方法）或原型（算法辅助）的组别。
• 通过最优性（课程选择的准确性）、任务耗时和可用性评分来衡量表现。
• 使用统计比较方法评估两种条件下表现差异及用户体验差异。

实验结果

研究问题

• RQ1 与使用ASSIST的手动方法相比，原型算法工具是否能减少学术规划中的最优性错误？
• RQ2 算法辅助是否能减少制定转学准备课程计划所需的时间？
• RQ3 与手动规划相比，用户满意度和感知可用性在算法辅助下有何差异？
• RQ4 算法辅助在多所大学转学要求下，对课程选择准确性的提升程度如何？

主要发现

• 与使用ASSIST的学生相比，使用原型的学生在课程选择中的最优性错误显著更少，表明其在识别必修课程方面具有更高的准确性。
• 使用原型的学生完成学术计划的速度快于使用ASSIST的学生，表明效率得到提升。
• 原型用户报告了更高的可用性评分，表明其对算法辅助的感知易用性和满意度更高。
• 结果支持了假设：算法优化可显著提升社区学院学生转学规划的质量与速度。