[论文解读] Towards Commodity, Web-Based Augmented Reality Applications for Research and Education in Chemistry and Structural Biology

Luciano A. Abriata|arXiv (Cornell University)|Jun 21, 2018

Virtual Reality Applications and Impacts参考文献 29被引用 3

一句话总结

本文提出使用通用、开源的网络技术构建基于网络的增强现实（AR）应用，以在化学和结构生物学领域实现沉浸式、交互式的三维分子可视化与建模。该研究展示了可在浏览器中实时访问的原子级和粗粒度模拟的AR技术，支持对实验可观测量的即时计算，并与新兴的原生网络技术（如神经网络和协作套接字）集成，为下一代交互式分子建模工具铺平道路。

ABSTRACT

This article reports prototype web apps that use commodity, open-source technologies for augmented and virtual reality to provide immersive, interactive human-computer interfaces for chemistry, structural biology and related disciplines. The examples, which run in any standard web browser and are accessible at https://lucianoabriata.altervista.org/jsinscience/arjs/armodeling/ together with demo videos, showcase applications that could go well beyond pedagogy, i.e. advancing actual utility in research settings: molecular visualization at atomistic and coarse-grained levels in interactive immersive 3D, coarse-grained modeling of molecular physics and chemistry, and on-the-fly calculation of experimental observables and overlay onto experimental data. From this playground, I depict perspectives on how these emerging technologies might couple in the future to neural network-based quantum mechanical calculations, advanced forms of human-computer interaction such as speech-based communication, and sockets for concurrent collaboration through the internet -all technologies that are today maturing in web browsers- to deliver the next generation of tools for truly interactive, immersive molecular modeling that can streamline human thought and intent with the numerical processing power of computers.

研究动机与目标

• 开发适用于化学和结构生物学中分子可视化与建模的可访问、基于网络的增强现实工具。
• 利用通用、开源的网络技术，消除对专用硬件或软件的依赖。
• 实现在原子级和粗粒度水平下，分子结构的实时、交互式三维可视化。
• 将模拟数据与即时计算的实验可观测量进行集成，实现实时对比。
• 展望未来将基于神经网络的量子力学、基于语音的交互以及实时协作功能集成到基于网络的分子建模中。

提出的方法

• 使用标准网络技术（HTML5、WebGL、WebXR）实现网络应用，以支持跨平台的AR/VR渲染。
• 利用开源分子可视化库（如JSmol、Three.js）渲染复杂的三维分子结构。
• 集成基于物理的粗粒度建模框架，实现实时分子动力学模拟。
• 在模拟或真实实验数据上动态叠加计算出的实验可观测量（如电子密度、散射剖面）。
• 利用现代网络浏览器功能，如WebSockets实现实时协作，以及WebAssembly实现高性能计算。
• 设计直观的人机交互模型，包括手势和语音输入，以提升沉浸感和可用性。

实验结果

研究问题

• RQ1 通用的基于网络的AR技术是否能在无需专用硬件的情况下实现高保真、交互式的分子可视化？
• RQ2 如何在浏览器中将实验可观测量的实时、即时计算与模拟的分子结构进行集成？
• RQ3 新兴的原生网络技术（如WebSockets、WebAssembly、语音接口）在多用户协作分子建模中的增强作用有多大？
• RQ4 粗粒度建模与原子级可视化是否可以在单一、交互式、基于浏览器的AR环境中共存？
• RQ5 基于神经网络的量子力学计算未来如何集成到基于网络的分子建模平台中？

主要发现

• 原型网络应用成功地在标准网络浏览器中直接渲染出交互式、沉浸式的三维分子可视化，覆盖原子级和粗粒度层级。
• 对实验可观测量（如电子密度图、散射剖面）的即时计算可动态叠加到模拟或真实数据的AR环境中。
• 系统展示了使用粗粒度模型进行分子动力学模拟的实时性能，支持对构象变化的交互式探索。
• 通过WebSockets实现的协作功能支持在共享AR空间中多用户并发交互，促进分布式科研与教育。
• 在基于网络的框架中，语音交互与基于神经网络的量子力学预测的集成被证明是未来可行的扩展方向。
• 该方法实现了完全的平台独立性，可在任何配备现代网络浏览器的设备上运行，包括移动设备和桌面系统。