[论文解读] Spreadsheets for Stream Partitions and Windows

Martin Hirzel, Rodric Rabbah+3 more|arXiv (Cornell University)|Mar 13, 2015

Advanced Database Systems and Queries参考文献 2被引用 3

一句话总结

该论文提出扩展电子表格，引入两个新函数——WINDOW 和 PARTITION——以支持高效地编程流处理操作符。这些扩展允许在可变大小的窗口上进行反应式、无状态的计算，以及基于键的数据显示分区，使领域专家无需编写低级别代码，即可直接在电子表格中构建可扩展的实时流处理应用。

ABSTRACT

We discuss the suitability of spreadsheet processors as tools for programming streaming systems. We argue that, while spreadsheets can function as powerful models for stream operators, their fundamental boundedness limits their scope of application. We propose two extensions to the spreadsheet model and argue their utility in the context of programming streaming systems.

研究动机与目标

• 通过扩展电子表格模型以支持特定于流的操作，解决传统电子表格在处理无界、高吞吐量流数据方面的局限性。
• 使熟悉电子表格但未必掌握低级别流编程的领域专家能够独立开发和部署流处理操作符。
• 克服电子表格固有的有界性，该特性限制了在流工作负载中窗口化和分区的表达能力。
• 在支持无界数据流上可扩展的增量计算的同时，保持电子表格的反应式、无状态和可组合特性。

提出的方法

• 引入新的 WINDOW 函数，允许单个单元格存储动态值列表（例如，最近60秒的交易记录），这些列表可传递给 SUM、AVERAGE 或 COUNT 等聚合函数。
• 通过仅在新值进入窗口时触发重新计算来确保反应性，从而保持响应性和性能。
• 设计 WINDOW 函数以通过拒绝非聚合函数来强制类型安全，防止无效使用并确保语义可预测。
• 引入 PARTITION 函数，其行为类似于 SELECT，但为每个不同的键（例如，股票代码）创建独立的、隔离的计算实例，从而实现每键处理而无需代码重复。
• 通过确保电子表格中所有 PARTITION 函数的键一致性，防止语义不一致，并支持高效、可扩展的执行。
• 将扩展后的模型集成到 ActiveSheets 中，这是一个基于 Microsoft Excel 的平台，可将电子表格逻辑导出为 IBM InfoSphere Streams 的 SPL 操作符。

实验结果

研究问题

• RQ1 电子表格能否被有效扩展以建模和执行具有可变大小窗口的实时流处理工作负载？
• RQ2 如何在电子表格中建模基于键的分区，以支持每键计算而无需代码重复？
• RQ3 电子表格模型需要哪些扩展才能支持无界数据流上的反应式、增量计算？
• RQ4 在支持窗口化和分区等复杂流操作的同时，能否保持电子表格的反应式和无状态语义？
• RQ5 领域专家在仅使用电子表格界面的情况下，能在多大程度上独立开发和部署可扩展的流处理应用？

主要发现

• WINDOW 函数通过允许单元格持有动态值列表并在新输入触发重新计算时，实现了对可变大小窗口（例如，最近一分钟的数据）的自然且高效的建模。
• 当新值进入窗口时，SUM 和 AVERAGE 等聚合函数可被增量更新，从而保持性能和响应性。
• PARTITION 函数允许用户为一个键（例如，一个股票代码）定义单一计算逻辑，该逻辑随后会自动按数据流中不同的键进行复制。
• 通过要求所有 PARTITION 函数中的键保持一致，该模型确保了正确性，并实现了无需运行时冲突的高效、可扩展执行。
• 这些扩展保持了电子表格的反应式、无状态和可组合特性，使领域专家能够直接在 Excel 中构建并导出复杂的流处理操作符。
• 该方法实现了对可调整、可重用的流处理逻辑（如基于 VWAP 的低价检测）的快速开发，而无需低级别编程或外部协调。