[论文解读] Robo-Saber: Generating and Simulating Virtual Reality Players

Nam Hee Kim, Jingjing May Liu+4 more|arXiv (Cornell University)|Feb 20, 2026

Artificial Intelligence in Games被引用 0

一句话总结

Robo-Saber 是一个条件运动生成系统，基于 in-game states 为 Beat Saber 生成 VR 头戴显示器和控制器轨迹，基于 BOXRR-23 数据训练，并通过基于 GPU 的 Beat Saber 仿真器进行评估，以实现体内测试和基于物理的全身 VR 建模的离线仿真。

ABSTRACT

We present the first motion generation system for playtesting virtual reality (VR) games. Our player model generates VR headset and handheld controller movements from in-game object arrangements, guided by style exemplars and aligned to maximize simulated gameplay score. We train on the large BOXRR-23 dataset and apply our framework on the popular VR game Beat Saber. The resulting model Robo-Saber produces skilled gameplay and captures diverse player behaviors, mirroring the skill levels and movement patterns specified by input style exemplars. Robo-Saber demonstrates promise in synthesizing rich gameplay data for predictive applications and enabling a physics-based whole-body VR playtesting agent.

研究动机与目标

• 开发一个条件运动生成模型，输出 VR 3p 轨迹（头显和两个控制器），条件来自游戏内状态。
• 通过以技能水平和运动模式反映的风格范例来捕捉行为多样性，并作为条件输入。
• 通过与跟踪策略和仿真器的集成，实现对长期、考虑物理性的全身 VR 玩法测试。

提出的方法

• 使用参照条件 CCM（Categorical Codebook Matching）结合 Transformer 基于的 GS-VAE 来建模 3p 轨迹的条件分布。
• 在 CCM 中扩展风格编码器和游戏编码器，以将情境范例和游戏状态作为条件信号纳入。
• 用 Jensen-Shannon 发散损失替代 MSE 匹配，以实现 z3p 与 zGame 的分布匹配。
• 从 zGame 生成多条候选的 3p 轨迹，并通过 GPU 加速的游戏仿真（TorchSaber）和奖励函数选择最佳轨迹。
• 在 BOXRR-23 Beat Saber 数据集上训练，并与 BeatSaver 地图对齐，以进行监督的 3p 动作学习。
• 通过物理基的跟踪策略演示全身运动合成，并评估评分预测能力（PSP）和数据增强效果。

Figure 2: Comparing Robo-Saber’s performance to that of human players. Robo-Saber trajectories are produced by using $N_{\text{ref}}=5$ segments from elite (top 5%) players. Left: Human and Robo-Saber TS score distributions across all held-out maps are shown as raincloud plots. Right: Robo-Saber’s p

实验结果

研究问题

• RQ1 风格条件下的三点运动模型，是否能在给定游戏对象排列时重现多样化的 Beat Saber 游戏轨迹？
• RQ2 在上下文范例上进行条件化是否能提高对目标游戏目标和玩家风格的对齐？
• RQ3 生成的轨迹是否能够支持预测性任务，如个性化分数预测和下游模型的数据增强？
• RQ4 与物理基跟踪策略的整合如何影响全身 VR 玩法测试的真实感与实用性？

主要发现

• Robo-Saber 生成的轨迹具有熟练的 Beat Saber 风格，并在生成的运动学上与顶级人类玩家接近。
• 该模型能够模拟与人类参考玩家的技能水平和运动模式一致的游戏轨迹。
• 个性化分数预测（PSP）在使用 Robo-Saber 生成的数据对新地图进行分数预测时是可行的。
• 通过 Robo-Saber 进行数据合成补充训练数据，可提升下游分数预测模型的准确性。
• 基于 GPU 的 Beat Saber 仿真器（TorchSaber）与真实分数之间高度相关（Pearson r = 0.856，TS 对应重新编码的 Beat Saber 分数）。
• 该工作证明了通过与跟踪策略集成实现物理基的全身 VR 玩法测试的可行性。

Figure 3: Sampling-based candidate trajectory selection improves performance compared to using deterministic Argmax selection for GS-VAE during inference. The percentiles are evaluated on the same held-out maps as Fig. ˜ 2 with $N_{\text{ref}}=5$ and $\mathbf{x}^{:N_{\text{ref}}}$ sampled from elite