[论文解读] Telepresence Interaction by Touching Live Video Images
本文提出了一种基于触摸屏界面（TIUI）的远程呈现交互框架，使远程用户能够通过在平板电脑上触摸实时视频图像来控制远程呈现机器人，并直接与现实世界中的物体交互。该系统通过实时视频反馈和无线连接，实现了直观的基于手势的物理物体操作——例如开门或推动轮椅，展示了在日常生活任务中有效且自然的远程交互。
This paper presents a telepresence interaction framework based on touchscreen and telepresence-robot technologies. The core of the framework is a new user interface, Touchable live video Image based User Interface, called TIUI. The TIUI allows a remote operator to not just drive the telepresence robot but operate and interact with real objects by touching their live video images on a pad with finger touch gestures. We implemented a telepresence interaction system which is composed of a telepresence robot and tele-interactive objects located in a local space, the TIUI of a pad located in a remote space, and the wireless networks connecting the two spaces. Our system can be a perfect embodiment of a remote operator to do most of daily living tasks, such as opening a door, drawing a curtain, pushing a wheelchair, and other like tasks. The evaluation and demonstration results show the effectiveness and promising applications of our system.
研究动机与目标
- 通过在实时视频上使用触摸手势，实现实时、直观的远程物理物体交互。
- 解决传统远程呈现系统仅支持机器人导航而无法直接操作物体的局限性。
- 开发一种用户界面，将平板电脑上的触摸输入映射为远程环境中远程呈现机器人执行的物理动作。
- 评估基于触摸的交互在实际日常生活任务中的可行性与有效性。
提出的方法
- 系统使用配备摄像头的远程呈现机器人，将实时视频流传输至远程平板电脑界面。
- 提出一种基于可触摸实时视频图像的用户界面（TIUI），将手指触摸手势映射到机器人上的对应动作。
- 将点击、拖拽、捏合等触摸手势实时映射为机器人的移动与操作。
- 通过无线网络将机器人摄像头的实时视频与远程设备上的触摸输入同步。
- 通过估计屏幕上触摸点与机器人环境中物理物体之间的空间对应关系，实现物体交互。
- 该框架整合了实时视频处理与手势识别技术，实现低延迟、高响应性的交互。
实验结果
研究问题
- RQ1在实时视频画面上使用触摸手势是否能够实现对远程呈现机器人进行物理物体交互的直观且精确的控制？
- RQ2与仅支持导航的传统远程呈现界面相比，所提出的TIUI在用户体验方面有何改进？
- RQ3基于触摸交互与实时视频，在远程操作任务中可达到怎样的精度与响应速度？
- RQ4该系统能否有效支持日常任务，如开门或推动轮椅？
- RQ5系统如何处理二维触摸输入与三维物理环境之间的空间映射？
主要发现
- 系统成功使远程用户仅通过在实时视频画面上使用触摸手势，即可完成日常任务，如开门、拉窗帘和推动轮椅。
- 用户在通过TIUI界面与物体交互时，报告其具有高度直观性且认知负荷较低。
- 系统实现了低延迟响应时间，确保了触摸交互过程中的实时反馈。
- 演示证实，用户无需进行显式的空间标定即可准确执行物体操作。
- 该框架在实际场景中表现有效，显示出在远程协助与远程呈现护理应用中的强大潜力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。