[论文解读] TritanDB: Time-series Rapid Internet of Things Analytics

Eugene Siow, Thanassis Tiropanis+2 more|arXiv (Cornell University)|Jan 24, 2018

Time Series Analysis and Forecasting参考文献 24被引用 6

一句话总结

TritanDB 是一种专为物联网（IoT）工作负载设计的新型时序数据库，通过高效压缩与存储结构，结合轻量级查询转换层，在资源受限设备和云系统上均实现了高性能分析。在物联网场景下，其性能相比业界最先进的数据库高出一个数量级，同时以极低的运行时开销支持基于RDF的数据集成。

ABSTRACT

The efficient management of data is an important prerequisite for realising the potential of the Internet of Things (IoT). Two issues given the large volume of structured time-series IoT data are, addressing the difficulties of data integration between heterogeneous Things and improving ingestion and query performance across databases on both resource-constrained Things and in the cloud. In this paper, we examine the structure of public IoT data and discover that the majority exhibit unique flat, wide and numerical characteristics with a mix of evenly and unevenly-spaced time-series. We investigate the advances in time-series databases for telemetry data and combine these findings with microbenchmarks to determine the best compression techniques and storage data structures to inform the design of a novel solution optimised for IoT data. A query translation method with low overhead even on resource-constrained Things allows us to utilise rich data models like the Resource Description Framework (RDF) for interoperability and data integration on top of the optimised storage. Our solution, TritanDB, shows an order of magnitude performance improvement across both Things and cloud hardware on many state-of-the-art databases within IoT scenarios. Finally, we describe how TritanDB supports various analyses of IoT time-series data like forecasting.

研究动机与目标

• 解决在边缘设备和云平台上的物联网时序数据管理中的性能瓶颈问题。
• 通过高效利用 RDF 数据模型实现异构物联网设备间的数据集成，提升互操作性。
• 识别适用于物联网时序数据独特特性的最优压缩技术与存储结构。
• 设计一种查询转换层，以最小化在优化后的时序存储上执行 SPARQL 查询时的运行时开销。
• 以高效率支持对时序数据的高级分析操作，如预测与聚合。

提出的方法

• 分析公开的物联网数据集，识别其常见特征：扁平化、宽表化、数值型及非均匀时间间隔的时序数据。
• 评估业界领先的时序数据库技术，重点关注压缩与索引技术对性能的影响。
• 设计一种自定义存储引擎，采用优化的数据结构与压缩算法，以减少 I/O 并提升查询吞吐量。
• 实现一种轻量级的 SPARQL 到 TritanDB 操作符的转换层，将 SPARQL 代数映射为高效的时序操作。
• 通过选择性查询处理，在最小化性能影响的前提下，支持基于 RDF 的数据建模以实现互操作性。
• 采用 Map-Match-Operate 处理管道，其中 'Operate' 阶段将 SPARQL 代数操作符映射为原生的 TritanDB 操作，如连接、过滤、聚合与排序等时序数据操作。

实验结果

研究问题

• RQ1 真实世界物联网时序数据的主导结构特征是什么？如何利用这些特征实现高效的存储与查询处理？
• RQ2 在资源受限环境与云环境中，哪些压缩技术与数据结构能为时序数据提供最佳性能？
• RQ3 是否可以在不牺牲查询性能的前提下，高效支持高性能时序数据库中的基于 RDF 的数据建模？
• RQ4 如何将 SPARQL 查询高效转换为时序数据上的操作，同时在资源受限设备上实现最小的运行时开销？
• RQ5 统一的数据库系统在多大程度上能够实现在边缘设备与云部署中对物联网分析的高性能？

主要发现

• 在物联网工作负载中，TritanDB 在边缘与云硬件上相比业界最先进的数据库实现了数量级的性能提升。
• 采用优化的存储结构与压缩技术显著减少了 I/O 操作，提升了查询吞吐量，尤其在时间范围查询与聚合查询中表现突出。
• SPARQL 查询转换层引入的运行时开销可忽略不计，使得复杂查询即使在资源受限设备上也能高效执行。
• 系统通过 RDF 支持丰富的数据建模，同时性能影响极小，实现了异构物联网系统间的互操作性。
• TritanDB 原生支持通过高效时序感知操作符实现的高级分析操作，如预测、分组与聚合。
• 基准测试结果表明，TritanDB 在多种查询类型与数据规模下，均优于 MongoDB、Cassandra、OpenTSDB 与 Elasticsearch 等系统。