[论文解读] The ViP2P Platform: XML Views in P2P

Konstantinos Karanasos, Asterios Katsifodimos+2 more|arXiv (Cornell University)|Dec 12, 2011

Peer-to-Peer Network Technologies参考文献 36被引用 6

一句话总结

ViP2P 是一种基于 DHT 的 P2P 平台，用于分布式 XML 数据管理，通过在 DHT 上构建分布式物化 XML 视图，实现高效、可扩展的查询处理。它支持基于订阅的实时更新和通过视图重写实现的快速即席查询评估，在大规模广域网部署中，数据分发速率比以往系统快达 4 个数量级。

ABSTRACT

The growing volumes of XML data sources on the Web or produced by enterprises, organizations etc. raise many performance challenges for data management applications. In this work, we are concerned with the distributed, peer-to-peer management of large corpora of XML documents, based on distributed hash table (or DHT, in short) overlay networks. We present ViP2P (standing for Views in Peer-to-Peer), a distributed platform for sharing XML documents based on a structured P2P network infrastructure (DHT). At the core of ViP2P stand distributed materialized XML views, defined by arbitrary XML queries, filled in with data published anywhere in the network, and exploited to efficiently answer queries issued by any network peer. ViP2P allows user queries to be evaluated over XML documents published by peers in two modes. First, a long-running subscription mode, when a query can be registered in the system and receive answers incrementally when and if published data matches the query. Second, queries can also be asked in an ad-hoc, snapshot mode, where results are required immediately and must be computed based on the results of other long-running, subscription queries. ViP2P innovates over other similar DHT-based XML sharing platforms by using a very expressive structured XML query language. This expressivity leads to a very flexible distribution of XML content in the ViP2P network, and to efficient snapshot query execution. ViP2P has been tested in real deployments of hundreds of computers. We present the platform architecture, its internal algorithms, and demonstrate its efficiency and scalability through a set of experiments. Our experimental results outgrow by orders of magnitude similar competitor systems in terms of data volumes, network size and data dissemination throughput.

研究动机与目标

• 解决在动态、分布式环境中对大规模 XML 数据集合进行可扩展、去中心化的管理挑战。
• 在无需中心化协调的情况下，实现对 P2P 网络中发布的 XML 数据的高效、实时查询评估。
• 支持两种查询模式：用于增量结果的长期订阅，以及利用预计算视图的即席快照查询。
• 设计一种在网络规模、数据量和并发发布者/消费者工作负载方面均能高效扩展的系统。
• 优化视图物化和查询重写，以最小化延迟并最大化真实 P2P 部署中的吞吐量。

提出的方法

• 利用结构化 DHT 叠加网络，在对等节点之间分发和定位 XML 文档及视图。
• 引入由任意 XQuery 类查询定义的分布式物化 XML 视图，并在匹配数据被发布时逐步填充。
• 采用多种视图索引策略——标签索引（LI）、返回标签索引（RLI）、叶路径索引（LPI）和返回路径索引（RPI）——以加速视图查找和查询重写。
• 通过使用可用的物化视图重写用户查询，支持即席查询处理，以利用预计算结果。
• 采用异步、并行化的数据传输和优化的数据提取流水线，以最大化分发吞吐量。
• 采用模块化对等节点架构，包含专门用于文档管理、视图管理和查询处理的模块。

实验结果

研究问题

• RQ1 如何在基于 DHT 基础设施的大规模、动态 P2P 网络中，高效地维护和查询分布式物化 XML 视图？
• RQ2 在去中心化环境中，哪些视图索引策略能最大化视图查找和查询重写的效率？
• RQ3 基于视图的查询重写在 P2P XML 系统中能多大程度上提升即席查询评估的性能？
• RQ4 在真实部署中，该系统在数据量、网络规模和并发发布者/消费者工作负载方面如何实现可扩展性？
• RQ5 通过异步通信和并行化，在视图物化和数据分发中能获得多大的性能提升？

主要发现

• ViP2P 在广域网中仅用不到 15 分钟就成功将 160GB 的 XML 数据分发至 250 个对等节点，展示了极高的可扩展性和吞吐量。
• 该系统实现的数据分发速率比以往基于 DHT 的 XML 平台（如 KadoP 和 psiX）高出多达 4 个数量级。
• 视图物化在发布者和消费者数量增加时表现出良好的可扩展性，尽管在高连接度对等节点处出现竞争导致性能下降，这在大规模系统中是可预期的。
• 当数据兴趣在子社区间均匀分布时，ViP2P 由于有效的并行化，数据传输速率提升了 1,000 倍。
• 基于标签的索引策略，特别是返回标签索引（RLI），在视图查找和检索效率方面优于其他策略。
• ViP2P 查询执行引擎随数据量线性扩展，支持的数据量比以往真实 DHT 部署高出数个数量级。