[论文解读] Towards AI-Assisted Sustainable Adaptive Video Streaming Systems: Tutorial and Survey

Reza Farahani, Zoha Azimi+2 more|arXiv (Cornell University)|Jun 4, 2024

Image and Video Quality Assessment被引用 4

一句话总结

本综述提出了一套全面的、基于人工智能的框架，以提升视频流媒体生命周期各阶段（从编码、传输到播放和质量评估）的能效。通过整合机器学习和可解释人工智能（XAI）等人工智能技术，本文展示了如何在保持高质量用户体验（QoE）的同时，通过整体系统优化和新兴生成式人工智能应用，减少碳排放，实现可持续的自适应视频流媒体系统。

ABSTRACT

Improvements in networking technologies and the steadily increasing numbers of users, as well as the shift from traditional broadcasting to streaming content over the Internet, have made video applications (e.g., live and Video-on-Demand (VoD)) predominant sources of traffic. Recent advances in Artificial Intelligence (AI) and its widespread application in various academic and industrial fields have focused on designing and implementing a variety of video compression and content delivery techniques to improve user Quality of Experience (QoE). However, providing high QoE services results in more energy consumption and carbon footprint across the service delivery path, extending from the end user's device through the network and service infrastructure (e.g., cloud providers). Despite the importance of energy efficiency in video streaming, there is a lack of comprehensive surveys covering state-of-the-art AI techniques and their applications throughout the video streaming lifecycle. Existing surveys typically focus on specific parts, such as video encoding, delivery networks, playback, or quality assessment, without providing a holistic view of the entire lifecycle and its impact on energy consumption and QoE. Motivated by this research gap, this survey provides a comprehensive overview of the video streaming lifecycle, content delivery, energy and Video Quality Assessment (VQA) metrics and models, and AI techniques employed in video streaming. In addition, it conducts an in-depth state-of-the-art analysis focused on AI-driven approaches to enhance the energy efficiency of end-to-end aspects of video streaming systems (i.e., encoding, delivery network, playback, and VQA approaches). Finally, it discusses prospective research directions for developing AI-assisted energy-aware video streaming systems.

研究动机与目标

• 应对视频流媒体日益增长的环境影响，其占全球互联网流量的约70%，并显著导致二氧化碳排放。
• 识别目前缺乏对视频流媒体生命周期中人工智能应用的全面综述，涵盖能效消耗与QoE权衡的各个方面。
• 提供一个统一的分类体系，并对59项基于人工智能的节能解决方案进行最新技术分析，涵盖编码、传输网络、播放和视频质量评估（VQA）。
• 突出人工智能（尤其是边缘计算、无服务器架构和可解释人工智能，XAI）在优化资源使用和降低能耗方面的潜力。
• 探讨新兴生成式人工智能和大语言模型（LLMs）的环境成本，其单次训练运行可排放高达284吨二氧化碳，并提出可持续的集成策略。

提出的方法

• 系统性调研59项基于人工智能的节能视频流媒体解决方案，按四个核心组件分类：编码、传输、播放和VQA。
• 整合强化学习、深度神经网络和混合模型等人工智能技术，以优化比特率自适应、内容缓存和网络资源分配。
• 提出使用可解释人工智能（XAI）以提高能源高效视频流媒体决策过程的透明度，尤其在ABR和VQA系统中。
• 分析人工智能模型自身的能耗，倡导在边缘设备上进行去中心化的推理以及采用无服务器计算，以降低计算和碳足迹。
• 评估生成式人工智能和LLMs对视频流媒体的影响，包括其在比特率预测、超分辨率和ABR自适应中的应用，同时量化其高昂的能耗。
• 提出一个端到端的综合框架，将人工智能整合到从内容采集到渲染的整个视频流媒体生命周期中，以实现全链路的能效优化与可持续性。

Figure 1. Survey structure.

实验结果

研究问题

• RQ1 如何系统性地将人工智能应用于视频流媒体生命周期的所有阶段，以在不损害QoE的前提下提升能效？
• RQ2 哪些关键的人工智能技术与模型能够实现视频编码、传输、播放和质量评估的节能？
• RQ3 新兴的生成式人工智能和LLMs如何影响视频流媒体系统的能耗？有哪些策略可减轻其环境成本？
• RQ4 可解释人工智能（XAI）在提升能源高效视频流媒体决策中的透明度与控制力方面有哪些作用？
• RQ5 哪些最具前景的系统级架构创新（如边缘AI、无服务器计算和网络内智能）能够有效降低视频流媒体的碳足迹？

主要发现

• 在编码、传输和播放阶段通过人工智能驱动的优化，可显著降低视频流媒体系统的能耗和二氧化碳排放。
• 尽管生成式人工智能和LLMs在提升视频质量和网络预测方面具有强大能力，但其能耗极高，单次LLM训练运行可排放高达284吨二氧化碳。
• 可解释人工智能（XAI）技术可提高模型透明度，从而更好地理解并控制ABR和VQA系统中的节能决策。
• 在边缘设备上进行去中心化的AI推理可降低延迟和能耗，尤其有利于实时视频自适应和客户端处理。
• 将无服务器计算与人工智能结合，可提供一种可扩展且成本效益高的方法，以更低的环境影响管理动态视频工作负载。
• 在编码、传输、播放和VQA等全生命周期阶段整合人工智能，是实现可持续、高能效视频流媒体的最有效路径。

Figure 2. (a) Systematic literature review methodology, and (b) distribution of surveyed articles based on video streaming lifecycle segments across different years.