[论文解读] Proposed Specification of a Distributed XML-Query Network

Christian Thiemann, Michael Schlenker+1 more|ArXiv.org|Sep 13, 2003

Advanced Database Systems and Queries参考文献 2被引用 6

一句话总结

本文提出了一种分布式XML查询网络（DXQ），通过集中式接口实现对地理分布的XML存储库的高效、可扩展查询。它定义了一种协议（DXQP），用于客户端、查询分发器和文档提供者之间的安全、可扩展通信，支持可定制的结果合并，以减少冗余并提高可靠性。

ABSTRACT

W3C's XML-Query language offers a powerful instrument for information retrieval on XML repositories. This article describes an implementation of this retrieval in a real world's scenario. Distributed XML-Query processing reduces load on every single attending node to an acceptable level. The network allows every participant to control their computing load themselves. Furthermore XML-repositories may stay at the rights holder, so every Data-Provider can decide, whether to process critical queries or not. If Data-Providers keep redundant information, this distributed network improves reliability of information with duplicates removed.

研究动机与目标

• 为解决大规模、分布式的XML存储库在查询时面临的可扩展性和性能挑战，通过去中心化查询处理实现。
• 通过允许数据提供者独立决定是否处理敏感查询，使数据提供者保有对其数据的控制权。
• 通过冗余机制和智能结果合并，提升数据可靠性，消除重复条目。
• 提供一种标准化、可扩展的通信协议（DXQP），实现去中心化XML查询组件之间的互操作性。
• 支持预定义和用户自定义的合并算法，实现基于应用需求的灵活结果聚合。

提出的方法

• 定义了一个包含三层次架构的系统，由DXQ-客户端、XML查询分发器（XQDs）和XML文档提供者（XDPs）组成，每一方均作为DXQ-节点运行。
• 规定了DXQP协议，使用区分大小写的UTF-8编码消息，结构包括头部（含Message-ID、Content-Length和Msg-To等字段）和正文。
• 支持多种传输机制，包括HTTP和TCP，节点标识符以URL或自定义URI（如dxqp://host:port/）表示。
• 引入一组消息类型：XML-QUERY、MERGE-ALGORITHM、XML-QUERY-RESULT、XML-QUERY-MERGED-RESULT、REGISTER、UNREGISTER和ERROR，实现有状态、事务性的通信。
• 通过ADDTO DL和RMFROMDL消息实现XDP的动态注册与注销，XQD维护一个活动节点的分发列表（DL）。
• 支持两种核心合并算法：'concatenate'（强制）和'remove-duplicates'（可选），用户自定义合并通过在MERGE-ALGORITHM消息中发送自定义XQuery实现。

实验结果

研究问题

• RQ1 如何在不集中化数据的前提下，高效且安全地将XML查询分发到去中心化的XML存储库网络中？
• RQ2 何种协议设计能够实现去中心化XML查询组件之间可扩展、可扩展且容错的通信？
• RQ3 如何智能地合并来自多个XML存储库的结果集，以减少冗余并提高数据一致性？
• RQ4 何种机制可使数据提供者在参与统一查询网络的同时，仍保有对查询处理的自主权？
• RQ5 用户如何定义自定义的合并逻辑？其扩展性由何种基础设施支持？

主要发现

• DXQ网络架构成功将查询执行与数据存储解耦，使每个XDP能够独立管理负载和访问控制。
• 使用标准化、可扩展的协议（DXQP）实现了在异构系统间通过HTTP或TCP传输的互操作性。
• 该协议支持动态节点注册与注销，支持灵活且可扩展的网络拓扑结构。
• 'remove-duplicates'合并算法通过比较指定深度内的XML子树，有效消除冗余元素，提升结果质量。
• 系统支持预定义和用户自定义的合并策略，后者通过包含自定义XQuery的独立MERGE-ALGORITHM消息实现。
• 即使部分XDP发生故障，XQD仍可继续处理并返回部分结果，增强了容错能力和系统韧性。