[论文解读] SemTUI: a Framework for the Interactive Semantic Enrichment of Tabular Data

Marco Ripamonti, Flavio De Paoli+1 more|arXiv (Cornell University)|Mar 17, 2022

Data Quality and Management被引用 4

一句话总结

SemTUI 是一个用户友好、交互式的框架，通过自动化协调与扩展服务，结合人工参与的优化界面，使专家和非专家用户都能对表格数据进行语义增强。评估结果表明，该框架在可用性、效率和可靠性方面表现优异，在不同用户群体中的用户满意度和任务有效性方面表现强劲。

ABSTRACT

The large availability of datasets fosters the use of \acrshort{ml} and \acrshort{ai} technologies to gather insights, study trends, and predict unseen behaviours out of the world of data. Today, gathering and integrating data from different sources is mainly a manual activity that requires the knowledge of expert users at an high cost in terms of both time and money. It is, therefore, necessary to make the process of gathering and linking data from many different sources affordable to make datasets ready to perform the desired analysis. In this work, we propose the development of a comprehensive framework, named SemTUI, to make the enrichment process flexible, complete, and effective through the use of semantics. The approach is to promote fast integration of external services to perform enrichment tasks such as reconciliation and extension; and to provide users with a graphical interface to support additional tasks, such as refinement to correct ambiguous results provided by automatic enrichment algorithms. A task-driven user evaluation proved SemTUI to be understandable, usable, and capable of achieving table enrichment with little effort and time with user tests that involved people with different skills and experiences.

研究动机与目标

• 解决数据科学工作流中跨异构数据源进行手动数据集成所面临的高成本和高复杂性问题。
• 通过直观的用户界面，减少对专家知识的依赖，使非专家用户能够执行表格数据的语义增强。
• 利用语义技术，支持灵活集成外部服务以实现协调与数据扩展。
• 通过整合用户驱动的模糊结果优化，提升自动化实体链接的准确性。
• 设计模块化、可扩展的架构，以支持增强工作流的长期维护与复用。

提出的方法

• 该框架采用模块化架构，其中包含‘Transformers’——可插拔组件，用于与外部服务接口，实现协调与数据扩展。
• 集成语义技术，将表格实体映射到知识图谱（如Wikidata）中的唯一标识符，实现消歧与标准化。
• 图形用户界面（GUI）支持交互式实体链接，允许用户查看、接受、拒绝或优化自动化算法的建议。
• 系统支持“优化任务”，用户可纠正模糊或错误的匹配结果，结合人类洞察与算法建议。
• 该框架支持保存和导出增强工作流，以便在类似数据集上复用，或作为优化脚本执行。
• 通过使用 UES（用户体验问卷）基准的用户评估，衡量了系统的可用性、满意度和感知有效性。

实验结果

研究问题

• RQ1 如何设计一个框架，使非专家用户能够轻松实现表格数据的语义增强？
• RQ2 交互式人工参与的优化机制在多大程度上能提升表格数据中自动化实体协调的准确性？
• RQ3 模块化、基于服务的架构在支持多样化外部数据源集成以实现数据增强方面有多高效？
• RQ4 不同技术背景的用户对语义增强工具的可用性和用户体验感知如何？
• RQ5 该框架能否在保持直观性和易学性的同时，实现高效的语义增强并具备高度的可靠性？

主要发现

• SemTUI 在 UEQ 可用性基准测试中，效率、可靠性与刺激性方面得分优异，表明用户表现良好且系统运行稳定。
• 该框架在吸引力与新颖性方面获得‘良好’评分，而在清晰度方面得分为‘低于平均’，表明在清晰度与易学性方面仍有改进空间。
• 用户测试证实，该系统对具备不同技术水平的用户均具备可理解性与可用性，支持非专家用户的采纳。
• 模块化的‘Transformer’架构支持外部服务的无缝集成与替换，提升了系统的可扩展性与长期可维护性。
• 系统支持增强任务的记录与导出，使未来可在大规模数据集上实现复用与自动化执行。
• 评估结果表明，人工参与的优化机制显著提升了模糊协调结果的质量，从而提高了整体数据准确性。