[论文解读] Usability Evaluation and Improvement of a Tool for Self-Service Learning Analytics

Shoeb Joarder, Mohamed Amine Chatti+1 more|arXiv (Cornell University)|Mar 25, 2026

Online Learning and Analytics被引用 0

一句话总结

The paper conducts a rigorous, iterative usability and UX evaluation of the Indicator Editor, a no-code SSLA tool, and derives design improvements leading to a final UI deployed on OpenLAP.

ABSTRACT

Self-Service Learning Analytics (SSLA) tools aim to support educational stakeholders in creating learning analytics indicators without requiring technical expertise. While such tools promise user control and trans- parency, their effectiveness and adoption depend critically on usability aspects. This paper presents a compre- hensive usability evaluation and improvement of the Indicator Editor, a no-code, exploratory SSLA tool that enables non-technical users to implement custom learning analytics indicators through a structured workflow. Using an iterative evaluation approach, we conduct an exploratory qualitative user study, usability inspections of high-fidelity prototypes, and a workshop-based evaluation in an authentic educational setting with n = 46 students using standardized instruments, namely System Usability Scale (SUS), User Experience Question- naire (UEQ), and Net Promoter Score (NPS). Based on the evaluation findings, we derive concrete design implications that inform improvements in workflow guidance, feedback, and information presentation in the Indicator Editor. Furthermore, our evaluation provides practical insights for the design of usable SSLA tools.

研究动机与目标

• 评估 Original Indicator Editor 界面的可用性和用户体验。
• 通过定性用户研究与检查识别核心可用性问题。
• 基于研究发现，以高保真原型进行迭代改进 UI。
• 使用 SUS、UEQ 和 NPS 的工作坊对最终原型进行评估。
• 为设计可用的 SSLA 工具提供实际的设计指南。

提出的方法

• 进行五名参与者的探索性定性用户研究，以识别可用性挑战。
• 在迭代设计阶段对高保真原型进行可用性检查。
• 使用 Figma 和 React.js 等工具开发初始、中间和最终原型。
• 通过一次工作坊（n=46）使用 SUS、UEQ 和 NPS 量化可用性和 UX。
• 将研究结果综合为关于工作流引导和信息呈现的具体设计含义。

实验结果

研究问题

• RQ1 在使用 Indicator Editor 实现 LA 指标时，用户遇到的主要可用性和 UX 挑战是什么？
• RQ2 迭代设计改进如何影响感知可用性和用户体验？
• RQ3 哪些设计改进能稳定提升清晰度、反馈和工作流可理解性？
• RQ4 改进后，用户总体愿意推荐 Indicator Editor 的程度如何？

主要发现

• 定性研究发现四个主要可用性问题：反馈的清晰性、术语的可理解性、信息过载以及视觉和交互的一致性。
• 迭代原型在工作流结构、持续性总览和情境帮助方面有所改善，但仍存在数据集–过滤器关系和自动状态变化的问题。
• 定量工作坊结果显示 SUS 平均值为 76.8（可用性良好），存在变异性；17.2% 属于 excellent（SUS ≥85），13.8% 低于 70。
• UEQ 指出 perspicuity（清晰度）是主要痛点（负向分数 -0.63），而效率和可靠性呈现混合但大多积极；趣味性质量接近中性。
• NPS 为 -28.3%，表明 detractors 多于 promoters，对工具的倡导有限。