[论文解读] RIOT: I/O-Efficient Numerical Computing without SQL

Yi Zhang, Herodotos Herodotou+1 more|ArXiv.org|Sep 9, 2009

Advanced Data Storage Technologies参考文献 16被引用 30

一句话总结

RIOT 引入了一套系统，通过在不需用户学习 SQL 或重写代码的情况下实现 I/O 高效的数值计算，显著提升了 R 在大规模数据集上的性能。通过将高级优化与关系型数据库后端相结合，RIOT-DB 在性能上显著超越了原生 R，证明了数据库启发的技术可以透明地应用于提升数据分析工作负载的可扩展性。

ABSTRACT

R is a numerical computing environment that is widely popular for statistical data analysis. Like many such environments, R performs poorly for large datasets whose sizes exceed that of physical memory. We present our vision of RIOT (R with I/O Transparency), a system that makes R programs I/O-efficient in a way transparent to the users. We describe our experience with RIOT-DB, an initial prototype that uses a relational database system as a backend. Despite the overhead and inadequacy of generic database systems in handling array data and numerical computation, RIOT-DB significantly outperforms R in many large-data scenarios, thanks to a suite of high-level, inter-operation optimizations that integrate seamlessly into R. While many techniques in RIOT are inspired by databases (and, for RIOT-DB, realized by a database system), RIOT users are insulated from anything database related. Compared with previous approaches that require users to learn new languages and rewrite their programs to interface with a database, RIOT will, we believe, be easier to adopt by the majority of the R users.

研究动机与目标

• 为解决 R 在超出主内存容量的大数据集上性能表现不佳的问题。
• 在不需用户学习新查询语言或重写程序的情况下，实现 R 中的 I/O 高效计算。
• 设计一个能将数据库启发式优化无缝集成到 R 编程环境中的系统。
• 评估通用数据库系统在经过高级优化增强后，是否可作为可扩展数值计算的可行后端。
• 证明性能提升可以透明实现，无需向用户暴露数据库特定细节。

提出的方法

• RIOT-DB 使用关系型数据库系统作为 R 计算的后端存储和执行引擎。
• 该系统应用了一套对用户透明的高级、跨操作优化，并直接集成到 R 执行流程中。
• 优化包括查询下推、谓词下推和选择性物化，以最小化 I/O 并改善数据局部性。
• 系统隐藏了数据库特定操作，确保用户与 R 的交互方式不变，无需直接使用 SQL。
• RIOT 利用现有数据库技术进行存储和索引，同时专注于数组数据处理和数值计算。
• 该架构支持惰性求值和高效数据流处理，以减少内存压力和 I/O 开销。

实验结果

研究问题

• RQ1 是否可以通过数据库后端显著提升 R 的 I/O 效率，而无需用户学习 SQL？
• RQ2 高级的、跨操作的优化在减少 I/O 和提升大规模数值数据集性能方面的效果如何？
• RQ3 通用数据库系统在多大程度上可以被适配以支持 R 中基于数组的数值工作负载？
• RQ4 是否可以实现透明的性能提升，而无需改变用户工作流或代码？
• RQ5 在使用通用关系型数据库管理系统（RDBMS）进行数值计算时，性能瓶颈是什么，如何缓解？

主要发现

• 尽管通用数据库系统存在固有开销，RIOT-DB 在许多大规模数据场景中显著优于原生 R。
• 该系统通过高级优化显著提升了性能，减少了 I/O 并改善了数据局部性，即使使用的是标准 RDBMS。
• 用户免受数据库内部机制的影响，可照常使用 R，无需学习新语言或界面。
• 原型证明了数据库启发的技术可以有效应用于 R 等数值计算环境。
• 性能提升主要归因于查询优化、操作下推和高效的数据管理，即使数据库对数组数据的处理不够理想。
• 结果表明，无需修改用户代码或采用新的编程模型，即可在 R 中实现 I/O 效率的显著提升。