[论文解读] SVLAT: Scientific Visualization Literacy Assessment Test

Patrick Do, Kaiyuan Tang+2 more|arXiv (Cornell University)|Mar 19, 2026

Data Visualization and Analytics被引用 0

一句话总结

SVLAT 提供一个标准化、经过心理测量学验证的工具，用于测量公众的 SciVis 识读力，包含 71 项，覆盖 19 种可视化和 11 种任务类型，可靠性通过 CTT 与 IRT 分析得到支持。

ABSTRACT

Scientific visualization (SciVis) has become an essential means for exploring, understanding, and communicating complex scientific phenomena. However, the field still lacks a validated instrument assessing how well people read, understand, and interpret them. We present a scientific visualization literacy assessment test (SVLAT) that measures the general public's SciVis literacy. Covering a range of visualization forms and interpretation demands, SVLAT comprises 49 items grounded in 18 scientific visualizations and illustrations spanning eight visualization techniques and 11 tasks. Instrument development followed a staged, psychometrically grounded pipeline. We defined the construct and blueprint, followed by item generation, and expert review with five SciVis experts using the content validity ratio (mean CVR = 0.79). We subsequently administered a pilot test (30 participants) and a large-scale test tryout (485 participants) to evaluate the instrument's psychometric properties. For validation, we performed item analysis and refinement using both classical test theory (CTT) and item response theory (IRT) to examine item functioning and overall test quality. SVLAT demonstrates high reliability in the tryout sample (McDonald's omega_t = 0.82, Cronbach's alpha = 0.81). The assessment materials are available at https://osf.io/hr3nw/.

研究动机与目标

• 将 SciVis 识读力定义为非专业人员在封闭世界规则下读解、理解和解读科学可视化的能力。
• 从构念到可靠性，开发一个标准化、心理测量基础的评估过程。
• 生成覆盖多种技术与领域的多样化可视化集，以确保广泛覆盖与生态效度。
• 提供开放获取的 SVLAT 材料，促进可重复研究与跨研究比较。

提出的方法

• 遵循分阶段流程：构念与蓝图、条目生成、通过专家评审的内容效度、试点测试、在大样本中的尝试实施、以及可靠性评估。
• 使用定性与定量心理测量（CTT 和 IRT）评估条目难度、辨别力和测试信息量。
• 应用贝叶斯双参数逻辑斯蒂回归（2PL）IRT 模型，估计条目对 SciVis 识读力潜在特质的辨别力与难度。
• 使用 McDonald 之 ω 和 Cronbach α 来计算可靠性。
• 利用 Lawshe 的内容效度比率（CVR）与专家小组筛选条目。
• 保持 SVLAT 材料的开放仓库以提升可重复性。

实验结果

研究问题

• RQ1 对于大众而言，SciVis 识读力的适当构念定义与蓝图是什么？
• RQ2 在封闭世界、图+题注驱动的测试下，是否能在多样化可视化技术与任务中可靠测量 SciVis 识读力？
• RQ3 在 CTT 与 IRT 分析下，SVLAT 条目的难度与辨别力如何表现？
• RQ4 在大样本试验中，SVLAT 的整体可靠性如何？

主要发现

• SVLAT 在试用样本中显示出高可靠性（McDonald’s ωt = 0.82，Cronbach α = 0.81）。
• 通过专家 CVR 评分对条目库进行细化，剔除 CVR < 0 的条目，并减少条目之间的冗余。
• 本工具覆盖 71 项、涵盖 8 种 SciVis 技术与 11 种任务类型，且有详细的蓝图映射。
• CTT 与贝叶斯 2PL IRT 分析均用于评估条目功能与在不同能力水平上的测试精确度。