[论文解读] The Efficiency Spectrum of Large Language Models: An Algorithmic Survey

Tianyu Ding, Tianyi Chen+8 more|arXiv (Cornell University)|Dec 1, 2023

Topic Modeling被引用 11

一句话总结

对提升LLM效率的算法方法的综合综述，涵盖数据、架构、训练/微调和推理，在2023年前的工作以及选定的2023年后贡献。

ABSTRACT

The rapid growth of Large Language Models (LLMs) has been a driving force in transforming various domains, reshaping the artificial general intelligence landscape. However, the increasing computational and memory demands of these models present substantial challenges, hindering both academic research and practical applications. To address these issues, a wide array of methods, including both algorithmic and hardware solutions, have been developed to enhance the efficiency of LLMs. This survey delivers a comprehensive review of algorithmic advancements aimed at improving LLM efficiency. Unlike other surveys that typically focus on specific areas such as training or model compression, this paper examines the multi-faceted dimensions of efficiency essential for the end-to-end algorithmic development of LLMs. Specifically, it covers various topics related to efficiency, including scaling laws, data utilization, architectural innovations, training and tuning strategies, and inference techniques. This paper aims to serve as a valuable resource for researchers and practitioners, laying the groundwork for future innovations in this critical research area. Our repository of relevant references is maintained at url{https://github.com/tding1/Efficient-LLM-Survey}.

研究动机与目标

• 定义并动机化LLMs端到端效率的需求，超越仅仅模型大小的指标。
• 综合能够提高数据、架构、训练、微调和推理效率的算法进展。
• 突出扩展规律和数据质量在高效LLM开发中的考量。
• 提供一个精心整理的参考文献库，以支持未来研究和实际部署。

提出的方法

• 对LLM效率的现有文献进行综述，强调算法和软件视角。
• 将讨论组织为五个核心维度：数据效率、架构效率、训练与微调效率、推理效率，以及预算/扩展洞见。
• 讨论效率评估指标，包括参数、模型大小、FLOPs、延迟、内存占用和碳排放。
• 总结关键发现并指出待解问题以指导未来研究。

实验结果

研究问题

• RQ1 存在哪些端到端的算法策略可以在不牺牲性能的前提下提升LLM效率？
• RQ2 扩展规律如何为高效LLM开发中的资源预算和模型/数据权衡提供信息？
• RQ3 数据效率、架构选择、训练/微调方法、推理技术在实际部署中能提供哪些洞察？
• RQ4 在资源受限的情况下，哪些数据质量与采样方法最有效地提升效率？
• RQ5 还有哪些资源（仓库）可以整合日益增长的LLM效率研究？

主要发现

• 本文呈现了一个关于LLM效率的整体视角，覆盖数据、架构、训练、微调和推理。
• 它讨论扩展规律以及它们如何指导计算预算决策和模型/数据的权衡。
• 它回顾了数据筛选、主动学习和采样策略作为提升数据效率的途径。
• 它综述了影响效率的架构和训练/微调创新，包括提示工程和对齐方法。
• 它指出存在一个研究仓库，并强调聚焦于2023年前的研究，同时选取纳入2023年后贡献。