[论文解读] Standardizing Knowledge Engineering Practices with a Reference Architecture

Bradley P. Allen, Filip Ilievski|arXiv (Cornell University)|Sep 19, 2023

Semantic Web and Ontologies被引用 2

一句话总结

本文提出一个六步参考架构（RA）框架，通过将来自框图学（boxologies）和神经符号系统的设计模式与用户需求及质量属性对齐，以标准化知识工程（KE）实践。该方法支持针对特定用例的参考架构的迭代设计、实例化与评估，最终生成开源、软件实现的架构，系统化知识工程工作流程，并弥合知识工程、软件架构与数据科学社群之间的鸿沟。

ABSTRACT

Knowledge engineering is the process of creating and maintaining knowledge-producing systems. Throughout the history of computer science and AI, knowledge engineering workflows have been widely used given the importance of high-quality knowledge for reliable intelligent agents. Meanwhile, the scope of knowledge engineering, as apparent from its target tasks and use cases, has been shifting, together with its paradigms such as expert systems, semantic web, and language modeling. The intended use cases and supported user requirements between these paradigms have not been analyzed globally, as new paradigms often satisfy prior pain points while possibly introducing new ones. The recent abstraction of systemic patterns into a boxology provides an opening for aligning the requirements and use cases of knowledge engineering with the systems, components, and software that can satisfy them best. This paper proposes a vision of harmonizing the best practices in the field of knowledge engineering by leveraging the software engineering methodology of creating reference architectures. We describe how a reference architecture can be iteratively designed and implemented to associate user needs with recurring systemic patterns, building on top of existing knowledge engineering workflows and boxologies. We provide a six-step roadmap that can enable the development of such an architecture, providing an initial design and outcome of the definition of architectural scope, selection of information sources, and analysis. We expect that following through on this vision will lead to well-grounded reference architectures for knowledge engineering, will advance the ongoing initiatives of organizing the neurosymbolic knowledge engineering space, and will build new links to the software architectures and data science communities.

研究动机与目标

• 解决缺乏一个全面、原则化的框架来协调知识工程（KE）工作流程与用户需求、质量属性，以及神经符号系统和大语言模型等新兴范式的问题。
• 通过创建一个整合现有KE工作流程和框图学中重复出现的系统性模式与最佳实践的参考架构（RA），对异构的KE实践进行系统化。
• 通过将架构决策建立在用户需求和质量属性基础上，弥合知识工程、软件架构与数据科学之间的差距。
• 为针对特定用例和领域定制的参考架构提供一个描述性、迭代的路线图，用于设计、评估与实现。

提出的方法

• 通过具有代表性的KE任务和用例界定架构范围，包括提炼23项质量属性和8项功能需求。
• 选择信息源，如新近识别的神经符号KE模式框图学（boxology）以及现有的知识图谱工具包（如KGTK），用于模式提取。
• 通过将质量属性和功能需求映射到已识别的系统性模式，评估其支持程度，开展架构分析。
• 通过迭代整合模式与需求，结合软件工程原则和先前RA成功案例，合成参考架构。
• 通过在代表性用户和现实世界KE任务中实例化RA，并基于反馈进行迭代优化，开展RA评估。
• 将最终的RA实例化为可部署、社区可采用的开源软件架构。

实验结果

研究问题

• RQ1 如何系统性地将知识工程中的系统性设计模式映射到用户需求和质量属性，以形成一致的参考架构？
• RQ2 框图学与神经符号系统模式在设计标准化知识工程参考架构中扮演何种角色？
• RQ3 如何利用现实世界用例和利益相关者反馈，迭代开发、评估与优化参考架构？
• RQ4 参考架构在多大程度上能够统一生物医学、常识推理和企业知识图谱等不同领域中的多样化知识工程工作流程？
• RQ5 在将现有KE工具包和工作流程与原则化架构框架对齐时，存在哪些关键挑战与空白？

主要发现

• 本文建立了一个六步路线图，用于在知识工程中设计、评估与实现参考架构，其基础是软件工程实践与用户需求。
• 初步的架构分析将23项质量属性和8项功能需求映射到神经符号KE框图学中的系统性模式，识别出已充分支持和未充分支持的需求。
• 参考架构的合成是一个迭代过程，整合了模式、需求与代表性用户的反馈，确保与现实世界用例保持一致。
• 评估阶段涉及在利益相关者参与下对RA进行实例化，通过试点试验对性能与质量进行评估。
• 最终的软件架构实例化旨在开源并详尽文档化，以支持社区采纳与扩展。
• 所提出的框架通过将架构模式与用户需求关联，提供了一种系统化KE实践的机制，从而识别出差距，并支持可扩展、标准化的开发。