[论文解读] The AR/VR Technology Stack: A Central Repository of Software Development Libraries, Platforms, and Tools

Jasmine Roberts|arXiv (Cornell University)|Jan 1, 2023

Augmented Reality Applications被引用 1

一句话总结

本文提出一个全面、集中化的增强现实/虚拟现实（AR/VR）应用开发软件开发工具、库和平台的资源库，按类别和生态系统组织。该资源库收录了超过50项关键技术——从低代码工具如Adobe Aero和Reality Composer，到基于网络的框架如A-Frame和BabylonJS，以及引擎级平台如Unity和Unreal Engine——为开发人员提供了一个一站式参考，用于在不同设备和平台上选择和集成AR/VR技术。

ABSTRACT

A comprehensive repository of software development libraries, platforms, and tools specifically to the domains of augmented, virtual, and mixed reality.

研究动机与目标

• 整理并组织一份全面、最新的AR/VR软件开发工具、库和平台清单。
• 通过提供一个单一参考点，支持开发人员和研究人员根据目标平台、使用场景或技术栈选择工具。
• 通过按功能（如原型设计、基于网络的开发、游戏引擎）对工具进行分类，提升AR/VR开发生态系统的可发现性和互操作性。
• 记录关键平台（如Unity、Unreal Engine）以及生态系统专用工具（如Lens Studio、Spark AR）的技术细节，用于社交媒体和移动AR应用。
• 涵盖开源和专有工具，并提供其功能、支持平台和集成能力的技术细节。

提出的方法

• 将AR/VR开发工具按主题分组：低代码原型设计、生态系统专用平台、基于网络的XR、游戏引擎和平台专用SDK。
• 为每项工具记录其官方来源、核心功能、支持平台（如iOS、Android、Web）以及集成能力。
• 突出显示关键技术特性，如无标记追踪（8th Wall）、实时面部追踪（Lens Studio）和基于WebGL的渲染（BabylonJS）。
• 强调基于Web的开源框架（如A-Frame、AR.js、JanusWeb）在使用HTML、JavaScript和WebXR构建Web端AR/VR开发中的作用。
• 详细说明游戏引擎技术栈（如Unity和Unreal Engine），指出其跨平台部署能力、对VR/AR头戴设备的支持，以及在商业应用中的使用情况。
• 包含平台专用SDK（如ARKit、ARCore、Vuforia、Lightship ARDK）和中间件（如Photon、NetCode），用于在多人AR/VR应用中实现实时网络通信。

实验结果

研究问题

• RQ1 在不同技术能力水平下，哪些是创建AR/VR体验最广泛使用且易于访问的工具？
• RQ2 基于网络的AR/VR框架（如A-Frame和AR.js）如何在无需安装原生应用的情况下实现在多平台的部署？
• RQ3 游戏引擎（如Unity和Unreal Engine）在开发高保真AR/VR应用中扮演什么角色？
• RQ4 生态系统专用平台（如Lens Studio、Spark AR、Effect House）如何使创作者能够大规模地在社交媒体上分发AR内容？
• RQ5 现代AR/VR技术栈中，实现无标记AR、面部追踪和3D对象交互的关键技术组件和SDK有哪些？

主要发现

• Adobe Aero和Reality Composer通过拖拽式界面，使非技术用户能够轻松创建交互式AR体验，并与Adobe和Apple生态系统无缝集成。
• TikTok的Effect House和Snap的Lens Studio使创作者能够直接将AR特效发布到拥有数百万活跃用户的平台，显著加速内容分发。
• 基于网络的框架（如A-Frame和AR.js）允许开发人员使用标准Web技术（HTML、JavaScript）构建AR/VR体验，实现在移动浏览器中无需安装应用即可部署。
• BabylonJS和PrimroseVR提供了功能强大的开源工具链，用于在Web浏览器中创建3D、交互式VR体验，支持空间音频、运动追踪和WebGL渲染。
• Unity和Unreal Engine仍是AR/VR开发的主导游戏引擎，驱动了Beat Saber、Pokémon Go和Half-Life: Alyx等主流游戏，具备广泛的跨平台支持。
• 平台专用SDK（如ARKit、ARCore、Vuforia、Lightship ARDK）支持高级AR功能，如实时物体和面部追踪，其中Vuforia和Lightship ARDK支持复杂的无标记和基于图像的追踪。