[论文解读] Towards Message Brokers for Generative AI: Survey, Challenges, and Opportunities

Alaa Saleh, Morabito, Roberto+3 more|arXiv (Cornell University)|Dec 22, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本综述提出了一种专为生成式人工智能（GenAI）工作负载设计的专用消息代理框架，分析了传统与现代发布/订阅消息代理在可扩展性、容错性和数据持久性等关键指标上的表现。研究识别出现有系统的关键局限性，并提出一种强大且可适应的架构，以满足生成式人工智能对动态、高吞吐量数据通信的需要。

ABSTRACT

In today's digital world, Generative Artificial Intelligence (GenAI) such as Large Language Models (LLMs) is becoming increasingly prevalent, extending its reach across diverse applications. This surge in adoption has sparked a significant increase in demand for data-centric GenAI models, highlighting the necessity for robust data communication infrastructures. Central to this need are message brokers, which serve as essential channels for data transfer within various system components. This survey aims to delve into a comprehensive analysis of traditional and modern message brokers, offering a comparative study of prevalent platforms. Our study considers numerous criteria including, but not limited to, open-source availability, integrated monitoring tools, message prioritization mechanisms, capabilities for parallel processing, reliability, distribution and clustering functionalities, authentication processes, data persistence strategies, fault tolerance, and scalability. Furthermore, we explore the intrinsic constraints that the design and operation of each message broker might impose, recognizing that these limitations are crucial in understanding their real-world applicability. Finally, this study examines the enhancement of message broker mechanisms specifically for GenAI contexts, emphasizing the criticality of developing a versatile message broker framework. Such a framework would be poised for quick adaptation, catering to the dynamic and growing demands of GenAI in the foreseeable future. Through this dual-pronged approach, we intend to contribute a foundational compendium that can guide future innovations and infrastructural advancements in the realm of GenAI data communication.

研究动机与目标

• 分析现有消息代理在生成式人工智能（GenAI）工作负载，特别是基于大语言模型（LLMs）的工作负载中的适用性。
• 识别当前消息代理设计中的关键局限性，这些局限性阻碍了对生成式人工智能高吞吐量、低延迟数据交换需求的有效支持。
• 提出一种新颖且可适应的消息代理框架，专为分布式、动态计算环境中生成式人工智能应用不断演进的需求而优化。
• 通过突出构建弹性、可扩展且高效的原生生成式人工智能消息系统所面临的关键挑战与机遇，为未来的研究和基础设施发展提供指导。

提出的方法

• 对12种知名消息代理（包括Apache Kafka、RabbitMQ、Amazon MQ、Google Cloud Pub/Sub、Azure Storage Queue、Amazon Kinesis和IronMQ）进行综合比较分析，评估其在14项关键指标上的表现。
• 系统性地评估每种代理在集群化、监控、认证、消息优先级、容错性以及对推送和拉取消息模式支持等方面的功能。
• 识别出限制生成式人工智能适用性的架构与操作约束（例如，消息大小限制、连接数上限、缺乏端到端交付保证）。
• 将研究发现整合为一个提出的框架，该框架融合了高性能代理的最佳实践，强调可扩展性、水平可扩展性以及实时诊断能力。
• 提出针对生成式人工智能数据密集型流水线优化的消息路由、负载均衡和状态管理的算法与架构增强方案。
• 整合MLOps和持续诊断与缓解（CDM）原则，以实现在生成式人工智能消息栈中的运行时监控与自适应配置。

实验结果

研究问题

• RQ1 现有消息代理在应用于生成式人工智能工作负载时，其关键架构与操作局限性是什么？
• RQ2 在可扩展性、容错性、消息持久性以及在生成式人工智能场景下对并行处理的支持等关键指标上，不同消息代理如何比较？
• RQ3 为有效支持生成式人工智能应用的动态、高吞吐量数据流，消息代理框架所需的设计原则与核心组件是什么？
• RQ4 如何增强消息代理系统，以支持生成式人工智能流水线中的实时诊断、监控与自适应资源管理？
• RQ5 发布/订阅范式与无代理替代方案在塑造生成式人工智能系统可扩展、高可靠的数据通信未来中扮演何种角色？

主要发现

• 现有消息代理在生成式人工智能工作负载中表现出显著局限性，包括严格的消息大小限制（例如，Google Cloud Pub/Sub为10MB，Azure Storage Queue为64KB）、连接数限制（Amazon MQ最高达1,000个连接），以及在某些配置下缺乏端到端交付保证。
• Apache Kafka和RabbitMQ等代理在集群化、容错性和持久化存储方面表现出强大支持，使其比具有隐藏扩展限制的托管云服务更适合用于生产环境的生成式人工智能流水线。
• 专有代理如Google Cloud Pub/Sub和Amazon Kinesis在大规模生成式人工智能部署中存在局限性，主要由于数据大小限制和高负载下的速率限制行为。
• 具备原生多协议通信、分布式追踪和实时流分析支持的消息代理（如Apache Kafka、Amazon Kinesis）在复杂生成式人工智能数据流水线中展现出更高的适应性。
• 当前生成式人工智能基础设施中，缺乏标准化且可扩展的消息代理互操作性与动态配置框架，仍是关键缺口。
• 所提出的生成式人工智能消息代理框架必须集成高级功能，如动态消息路由、对推送与拉取模式的原生支持，以及实时监控，以确保生成式人工智能系统中高质量的服务（QoS）。