[论文解读] XR$^3$: An Extended Reality Platform for Social-Physical Human-Robot Interaction

Chao Wang, Anna Belardinelli+1 more|arXiv (Cornell University)|Jan 18, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

XR3 是一个同址双头显 XR 平台，通过将操作员的动作与面部信号映射到 VR 中的机器人化身，实现基于触控的社交-物理人机交互，具备同步的视觉-触觉反馈与 WOZ 风格实验的数据记录。

ABSTRACT

Social-physical human-robot interaction (spHRI) is difficult to study: building and programming robots that integrate multiple interaction modalities is costly and slow, while VR-based prototypes often lack physical contact, breaking users' visuo-tactile expectations. We present XR$^3$, a co-located dual-VR-headset platform for HRI research in which an attendee and a hidden operator share the same physical space while experiencing different virtual embodiments. The attendee sees an expressive virtual robot that interacts face-to-face in a shared virtual environment. In real time, the robot's upper-body motion, head and gaze behavior, and facial expressions are mapped from the operator's tracked limbs and face signals. Because the operator is co-present and calibrated in the same coordinate frame, the operator can also touch the attendee, enabling perceived robot touch synchronized with the robot's visible hands. Finger and hand motion is mapped to the robot avatar using inverse kinematics to support precise contact. Beyond motion retargeting, XR$^3$ supports social retargeting of multiple nonverbal cues that can be experimentally varied while keeping physical interaction constant. We detail the system design and calibration, and demonstrate the platform in a touch-based Wizard-of-Oz study, lowering the barrier to prototyping and evaluating embodied, contact-based robot behaviors.

研究动机与目标

• 促进 embodied、基于接触的机器人行为在社交-人机交互中的快速原型设计与评估。
• 提供一个将 VR 与 MR 结合的同址 XR 框架，以实现安全、可控、充满触感的人机交互。
• 演示一个将操作者的头部/手部/脸部信号重新定向到机器人化身用于表达性社交线索和接触对齐的流程。
• 在双人互动过程中实现全面的多模态数据收集，以研究用户体验与对机器人伙伴的信任。

提出的方法

• 一个同址双头显设置，参与者在体验 VR 的同时，操作者使用透视 MR 实时驱动机器人。
• 通过 WebSocket 将机器人运动、头部姿态和面部表情的实时流传输给参与者。
• 基于逆向运动学（IK）的操作者头部/手部姿态重新定向到机器人，以实现真实运动与精确指尖接触。
• 通过 IK 为核心的手掌与拇指/食指指尖控制实现触觉对齐，以同步感知与触感接触。
• 使用 3D 打印的指尖覆盖物，提升接触过程中的被动触觉真实感。
• 对凝视、手部碰撞、面部混合形状和动作单元进行多模态数据记录以便分析。
• 采用 Wizard-of-Oz 互动协议，配合可控脚本来改变社交表达性与情境（功能性与游戏性）。
• 附录 detailing 将 Quest Pro 的混合形状和凝视映射到机器人面部控制的面部表达映射。

实验结果

研究问题

• RQ1 不同水平的社交重新定向（头部运动、眼球运动、面部表情）如何在机器人主动接触时影响用户体验和信任？
• RQ2 XR3 是否能够提供一个安全、可控的平台，在接触型人机交互中保持视觉-触觉一致性以实现快速原型设计？
• RQ3 在同址 XR 设置下，哪些行为与生理信号与用户接受度和对触摸型社交人机交互的信任相关？
• RQ4 在 XR3 收集的多模态数据如何用于训练机器人行为并评估双人互动中的用户反应？

主要发现

• XR3 实现操作者信号到虚拟机器人之间的实时同址映射，在 VR 中实现面向面对面的社交互动并具有同步触觉提示。
• 通过基于 IK 的手部与指尖位置重新定向实现精确接触对齐，提升机器人触感的真实感。
• 多模态数据管线可捕捉凝视、碰撞、面部表情和语音事件，为用户反应和信任代理的细粒度分析提供支持。
• 初步实验证明了 WOZ 风格研究的可行性，可以在受控的社交表达性与情境下研究触摸型人机交互。
• 通过匹配机器人指尖几何的 3D 打印指尖覆盖物提升触觉真实感。
• XR3 通过在安全、以用户为中心的设置中快速迭代具身、基于接触的机器人行为，降低原型设计障碍。