[论文解读] Poster: Enabling Flexible Edge-assisted XR

Jin Heo, Ketan Bhardwaj+1 more|arXiv (Cornell University)|Sep 8, 2023

Visual Attention and Saliency Detection被引用 5

一句话总结

本文提出了一种灵活且高性能的边缘辅助扩展现实（XR）系统，采用流处理技术实现在异构边缘资源间的动态计算卸载。通过设计模块化、可卸载的计算内核，实现零拷贝通信和优化的远程数据传输，该系统在真实XR工作负载中实现了亚毫秒级的本地延迟，并显著降低了端到端延迟。

ABSTRACT

Extended reality (XR) is touted as the next frontier of the digital future. XR includes all immersive technologies of augmented reality (AR), virtual reality (VR), and mixed reality (MR). XR applications obtain the real-world context of the user from an underlying system, and provide rich, immersive, and interactive virtual experiences based on the user's context in real-time. XR systems process streams of data from device sensors, and provide functionalities including perceptions and graphics required by the applications. These processing steps are computationally intensive, and the challenge is that they must be performed within the strict latency requirements of XR. This poses limitations on the possible XR experiences that can be supported on mobile devices with limited computing resources. In this XR context, edge computing is an effective approach to address this problem for mobile users. The edge is located closer to the end users and enables processing and storing data near them. In addition, the development of high bandwidth and low latency network technologies such as 5G facilitates the application of edge computing for latency-critical use cases [4, 11]. This work presents an XR system for enabling flexible edge-assisted XR.

研究动机与目标

• 解决在资源有限的移动设备上支持低延迟、计算密集型XR工作负载的挑战。
• 克服先前系统依赖静态假设（如设备和网络条件）进行预配置卸载的局限性。
• 通过使XR处理功能完全可配置并可在边缘和客户端设备间灵活分布，实现动态、应用特定的卸载。
• 通过零拷贝通信和高效压缩技术最小化通信开销，优化系统性能以满足实时XR需求。
• 支持异构边缘资源，包括硬件加速器，以最大化资源利用率并提升用户体验。

提出的方法

• 设计一个分布式流处理系统（DSPS），其中XR功能以模块化、可卸载的计算内核形式实现，并支持运行时动态配置本地或远程部署。
• 采用流水线并行模型，配备支持本地或远程执行动态配置的数据通信端口。
• 通过扩展RaftLib流处理库的自定义机制，实现内核间的零拷贝通信，以最小化本地数据传输延迟。
• 集成高效的压缩算法和低开销通信协议，以减少边缘-客户端边界间的远程通信成本。
• 通过细粒度的内核和端口配置，避免依赖基于RPC的函数卸载，从而充分利用边缘硬件加速器。
• 利用宽松同步机制和最少的辅助内核需求，相比GStreamer等框架，简化了分布式XR流水线的部署。

实验结果

研究问题

• RQ1 如何在保持严格实时延迟要求的前提下，将XR工作负载动态卸载到边缘服务器？
• RQ2 何种系统架构能够实现跨异构客户端和边缘资源的灵活、应用特定的XR处理功能分发？
• RQ3 在分布式XR流水线中，如何最小化本地和远程通信开销以满足低延迟约束？
• RQ4 与ROS、GStreamer和基于Python的流水线等现有框架相比，流处理模型在XR工作负载的端到端延迟方面能提升多少？
• RQ5 模块化、基于内核的系统设计是否能够在无需额外同步或通信内核的情况下，实现高效卸载？

主要发现

• 所提出的系统在所有测试分辨率（720p至2160p）下均实现了0.1 ms的本地通信延迟，性能与GStreamer相当，优于ROS和基于Python的解决方案。
• 使用基于RaftLib的系统进行本地数据传输，其速度比ROS Pub/Sub（3.4–12.5 ms）快10–100倍，也比基于Python的通道（9.3–52.1 ms）快10–100倍，尤其在高分辨率帧下表现更优。
• 该系统消除了在分布式XR流水线中对辅助内核的需求，而GStreamer则需要额外组件来处理多流、同步和远程通信。
• 系统中的零拷贝通信将本地数据传输延迟降低至0.1 ms，实现了高吞吐量、低延迟处理，这对实时XR应用至关重要。
• 该系统的设计支持内核部署位置（本地或远程）的灵活运行时重新配置，可根据当前网络和设备状况实现最优资源利用。
• 通过避免数据复制并采用高效的通信协议，系统最小化了分布式XR流水线的端到端延迟，使其适用于对延迟敏感的应用场景。