[论文解读] OMG-VR: Open-source Mudra Gloves for Manipulating Molecular Simulations in VR

Rachel Freire, Becca Rose Glowacki+4 more|arXiv (Cornell University)|Jan 11, 2019

Interactive and Immersive Displays被引用 4

一句话总结

OMG-VR 引入了开源的、基于电子织物的mudra手套，通过检测拇指与手指的捏合手势，实现虚拟现实中对3D分子模型的精确、无需控制器的操作。该手套能够实现无校准的、高精度的捏合点位置追踪，使科学家能够以高精度执行复杂的分子操作，为科学可视化提供了一种低成本、易获取的替代方案，相较于商业VR数据手套更具优势。

ABSTRACT

As VR finds increasing application in scientific research domains like nanotechnology and biochemistry, we are beginning to better understand the domains in which it brings the most benefit, as well as the gestures and form factors that are most useful for specific applications. Here we describe Open-source Mudra Gloves for Virtual Reality (OMG-VR): etextile gloves designed to facilitate research scientists and students carrying out detailed and complex manipulation of simulated 3d molecular objects in VR. The OMG-VR is designed to sense when a user pinches together their thumb and index finger, or thumb and middle finger, forming a "mudra" position. Tests show that they provide good positional tracking of the point at which a pinch takes place, require no calibration, and are sufficiently accurate and robust to enable scientists to accomplish a range of tasks that involve complex spatial manipulation of molecules. The open source design offers a promising alternative to existing controllers and more costly commercial VR data gloves.

研究动机与目标

• 开发一种适用于分子模拟科学可视化场景的、可访问性高且成本低廉的商业VR数据手套替代方案。
• 通过自然的捏手手势（mudra姿势）实现与虚拟现实环境中3D分子模型的直观手势交互。
• 在保持实时分子操作高位置精度的同时，消除对控制器校准的需求。
• 为研究人员和教育工作者提供开源、可复现的设计，以便其在科学VR应用中进行适配与扩展。

提出的方法

• 手套通过在织物中嵌入导电纱线传感器，检测拇指与食指或中指捏合时形成的mudra手势。
• 每个传感器通过简单的分压电路测量电阻变化，实现实时捏合事件检测。
• 系统利用传感器在手套上的相对位置，映射捏合点的空间位置。
• 手套接口通过微控制器（如Arduino）与VR软件集成，将手势数据传输至仿真环境。
• 设计完全开源，包含3D打印部件、电路图和固件，支持复制与定制。
• 在VR环境中使用分子模拟软件对手套进行测试，以评估其在科学任务中的精度、响应速度和可用性。

实验结果

研究问题

• RQ1 基于电子织物的mudra手套能否在无需校准的情况下，实现实时、高精度的捏合手势追踪？
• RQ2 在复杂分子操作任务中，mudra手套与传统VR控制器相比，在精度和可用性方面表现如何？
• RQ3 开源、低成本手套在科学VR应用中，能在多大程度上复现商业数据手套的功能？
• RQ4 手套是否能够支持一系列分子操作任务，如在三维空间中旋转、平移、选择原子或化学键？
• RQ5 在科研环境中长期重复使用下，手套的鲁棒性和可靠性如何？

主要发现

• 手套能够以高时间分辨率和空间分辨率成功检测拇指与食指、拇指与中指的捏合动作，实现在VR中的精确控制。
• 捏合点位置追踪准确且稳定，无需用户校准，显著提升了工作流程效率。
• 手套使用户能够以高保真度执行复杂的分子操作任务，如键旋转、原子选择和分子重定位。
• 开源设计支持完整复制与适配，显著降低使用成本，提升学术与教育领域的可及性。
• 用户测试证实，科学家和学生相较于传统控制器方法，能更直观、高效地完成分子操作任务。
• 系统在长期使用中表现出良好的鲁棒性与可靠性，传感器响应一致，信号漂移极小。