[论文解读] Usability Evaluation for Online Professional Search in the Dutch Archaeology Domain

Alex Brandsen, Suzan Verberne+2 more|arXiv (Cornell University)|Mar 7, 2021

Usability and User Interface Design参考文献 41被引用 24

一句话总结

本论文介绍 AGNES，一个荷兰考古学全文检索系统，并通过考古学家焦点小组来评估其可用性，揭示信息需求、查询策略以及界面的可学习性。

ABSTRACT

This paper presents AGNES, the first information retrieval system for archaeological grey literature, allowing full-text search of these long archaeological documents. This search system has a web interface that allows archaeology professionals and scholars to search through a collection of over 60,000 Dutch excavation reports, totalling 361 million words. We conducted a user study for the evaluation of AGNES's search interface, with a small but diverse user group. The evaluation was done by screen capturing and a think aloud protocol, combined with a user interface feedback questionnaire. The evaluation covered both controlled use (completion of a pre-defined task) as well as free use (completion of a freely chosen task). The free use allows us to study the information needs of archaeologists, as well as their interactions with the search system. We conclude that: (1) the information needs of archaeologists are typically recall-oriented, often requiring a list of items as answer; (2) the users prefer the use of free-text queries over metadata filters, confirming the value of a free-text search system; (3) the compilation of a diverse user group contributed to the collection of diverse issues as feedback for improving the system. We are currently refining AGNES's user interface and improving its precision for archaeological entities, so that AGNES will help archaeologists to answer their research questions more effectively and efficiently, leading to a more coherent narrative of the past.

研究动机与目标

• 在检索灰色文献和报告时，荷兰考古学家的信息需求是什么。
• 开发基于信息检索/自然语言处理的搜索系统（AGNES），对约60,000份文档进行命名实体索引。
• 使用 Think Aloud 协议，以多样化的考古学家焦点小组评估 AGNES 的可用性。
• 分析用户查询策略以及分面、地图和查询构建器在信息检索中的作用。
• 提供设计建议，以提升考古学检索工具的可用性和采用率。

提出的方法

• 使用命名实体识别构建 AGNES，并建立全文索引，存储在 DANS 存储库中。
• 使用 ElasticSearch 按页面级别对文档建立索引（未来计划按章节/小节级别）。
• 提供带布尔逻辑和实体特定查询的前端查询构建器，以及分面筛选和基于地图的结果。
• 进行一对一的可用性会话，使用 Think Aloud，设定的任务和自定义的信息需求。
• 记录并转录会话，使用扎根理论进行分析，并计算定性与定量的可用性信号（查询、每个查询元素的时间）。
• 使用一个小型用户组（十名参与者）来识别问题；分析跨组问题的频率和多样性。

实验结果

研究问题

• RQ1 在检索档案灰色文献时，荷兰考古学家有哪些信息需求？
• RQ2 考古学家在使用 AGNES 时采用哪些查询策略？
• RQ3 用户对 AGNES 系统的可用性和功能满意度如何？

主要发现

• 考古学家在 AGNES 中偏好地理搜索、地图绘制和分面搜索。
• 参与者更偏好高召回率的列表式结果，而非以精确为核心的结果。
• 分面仅在 15% 的查询中使用，而查询构建器的高级 OR/分组功能被低估使用（9.5%）。
• 在 64 个信息需求下的 148 次观察到的查询中，用户能够为预定义任务构建参考查询，表明界面支持预期用途。
• 随着查询增多，每个查询元素的花费时间下降，表明界面易于学习。
• 用户积极评价地图、查询构建器、分面和摘要为有利特征；负面包括帮助按钮、分面的直观性以及概念选择。