[论文解读] The Costly Dilemma: Generalization, Evaluation and Cost-Optimal Deployment of Large Language Models

Abi Aryan, Aakash Kumar Nain+3 more|arXiv (Cornell University)|Aug 15, 2023

Software Engineering Research被引用 5

一句话总结

本文提出一个框架，旨在解决在部署大型语言模型（LLMs）时面临的泛化性、评估可行性和成本最优性三者之间的平衡问题。该框架提出了一种系统化的方法，以协调这些常常相互冲突的目标，为企业在生产环境中有效管理大型语言模型的开发、部署和运营成本提供了实用见解。

ABSTRACT

When deploying machine learning models in production for any product/application, there are three properties that are commonly desired. First, the models should be generalizable, in that we can extend it to further use cases as our knowledge of the domain area develops. Second they should be evaluable, so that there are clear metrics for performance and the calculation of those metrics in production settings are feasible. Finally, the deployment should be cost-optimal as far as possible. In this paper we propose that these three objectives (i.e. generalization, evaluation and cost-optimality) can often be relatively orthogonal and that for large language models, despite their performance over conventional NLP models, enterprises need to carefully assess all the three factors before making substantial investments in this technology. We propose a framework for generalization, evaluation and cost-modeling specifically tailored to large language models, offering insights into the intricacies of development, deployment and management for these large language models.

研究动机与目标

• 解决在现实世界大型语言模型（LLM）部署中平衡泛化性、评估可行性与成本最优性的挑战。
• 识别这三项目标之间固有的张力，这些目标在实践中常常被视为相互独立。
• 提供一个量身定制的大型语言模型生命周期管理框架，以支持可扩展、可度量且经济可持续的部署。
• 指导企业在投资大型语言模型时做出明智且成本效益高的决策。
• 为在生产环境中评估大型语言模型性能建立基础，采用可度量且切实可行的指标。

提出的方法

• 提出一个三维框架，用于建模模型泛化性、评估可行性与部署成本之间的相互作用。
• 引入成本建模组件，量化不同大型语言模型（LLM）部署配置下的推理、微调和基础设施开销。
• 设计既严谨又在生产环境中计算可行的评估协议。
• 整合模型适应策略，以在不损害评估清晰度的前提下提升泛化能力，适应不断变化的使用场景。
• 采用模块化架构，将评估、成本和泛化组件解耦，实现独立优化。
• 将该框架应用于真实世界的部署场景，以验证权衡关系和实际可行性。

实验结果

研究问题

• RQ1 如何在大型语言模型（LLM）部署中系统性地平衡泛化性、评估可行性和成本最优性？
• RQ2 泛化性与成本最优性在多大程度上与生产环境中评估的可行性相冲突？
• RQ3 何种实用框架能够使企业评估并管理这三项目标之间的权衡？
• RQ4 如何设计评估指标，使其在实时大型语言模型（LLM）系统中既具有意义又计算可行？
• RQ5 何种成本建模方法能够实现透明、可扩展且可持续的大型语言模型（LLM）部署决策？

主要发现

• 在生产环境中，泛化性与成本最优性常常与评估的可行性产生冲突，需要有意识地进行权衡管理。
• 所提出的框架使企业能够规模化地量化和管理大型语言模型（LLM）推理、微调和基础设施的成本。
• 评估协议可以在不损害性能度量完整性的前提下，实现实际可行且可扩展。
• 通过模块化适应策略可增强模型泛化能力，降低再训练成本，并提升跨领域适用性。
• 该框架表明，实现成本最优性无需牺牲模型性能或评估的严谨性。
• 实证验证表明，该框架能够支持在不断演变的使用场景中实现可持续部署，并实现可度量的成本与性能结果。