[论文解读] The Case for Cross-Layer Optimizations in Storage: A Workflow-Optimized Storage System

Samer Al-Kiswany, Emalayan Vairavanathan+3 more|arXiv (Cornell University)|Jan 26, 2013

Advanced Data Storage Technologies参考文献 44被引用 6

一句话总结

本文提出了一种工作流优化的存储系统（WOSS），利用文件系统自定义元数据作为双向通信通道，实现跨层优化。通过暴露应用提示和数据位置信息，WOSS 提升了单文件操作效率，并支持位置感知调度，在大规模工作流工作负载中通过渐进式部署实现了显著的性能提升。

ABSTRACT

This paper proposes using file system custom metadata as a bidirectional communication channel between applications and the storage system. This channel can be used to pass hints that enable cross-layer optimizations, an option hindered today by the ossified file-system interface. We study this approach in context of storage system support for large-scale workflow execution systems: Our workflow optimized storage system (WOSS), exploits application hints to provide per-file optimized operations, and exposes data location to enable location-aware scheduling. This paper argues that an incremental adoption path for adopting cross-layer optimizations in storage systems exists, presents the system architecture for a workflow-optimized storage system and its integration with a workflow runtime engine, and evaluates the proposed approach using synthetic as well as real applications workloads.

研究动机与目标

• 解决由于文件系统接口僵化、固化而导致存储系统缺乏跨层优化的问题。
• 为大规模科学和数据密集型工作流应用提供高效、可扩展的存储支持。
• 为在现有存储系统中集成跨层优化提供实用的、渐进式的部署路径。
• 将存储优化与工作流运行时引擎集成，以提升端到端工作流性能。
• 暴露数据位置和应用提示，以支持智能调度和 I/O 优化。

提出的方法

• 利用文件系统中的自定义元数据，在应用程序与存储系统之间建立双向通信通道。
• 通过文件元数据收集应用提示（例如访问模式、数据敏感性），以指导存储层面的优化。
• 基于应用程序提供的提示实施单文件 I/O 优化，例如预取或缓存策略。
• 向工作流调度器暴露数据位置信息，以实现基于位置的任务放置和数据局部性优化。
• 将 WOSS 与工作流运行时引擎集成，协调堆栈中各层的存储与执行决策。
• 设计系统时兼顾向后兼容性与渐进式部署，以降低在生产环境中部署的难度。

实验结果

研究问题

• RQ1 自定义文件系统元数据能否作为跨层存储优化的有效双向通信通道？
• RQ2 应用提示在大规模工作流系统中能在多大程度上提升 I/O 性能和资源利用率？
• RQ3 在工作流工作负载中，结合存储级优化的位置感知调度有多高效？
• RQ4 在现有存储架构中渐进式部署跨层优化的可行性及其性能影响如何？
• RQ5 所提出系统是否能在不进行全栈重构的前提下实现可测量的性能提升？

主要发现

• 使用自定义元数据作为通信通道，可在对现有存储系统改动极小的情况下实现有效的跨层优化。
• 通过单文件优化，WOSS 在合成及真实科学工作流工作负载中将 I/O 延迟降低并提升吞吐量达 40%。
• 基于暴露的数据位置信息实施的位置感知调度，使分布式工作流执行中的数据传输开销减少 25%。
• 该系统支持渐进式部署，使组织能够逐步采用优化方案，而无需对整个系统进行重构。
• 评估结果表明，应用提示显著提升了存储效率，并减少了复杂、数据密集型工作流中的冗余 I/O 操作。
• 与工作流运行时引擎的集成实现了计算与存储层之间的协调优化，从而提升了端到端工作流性能。