[论文解读] Open Chemistry: RESTful Web APIs, JSON, NWChem and the Modern Web Application

Marcus D. Hanwell, Wibe A. de Jong+1 more|arXiv (Cornell University)|Jul 13, 2017

Scientific Computing and Data Management参考文献 12被引用 4

一句话总结

本文提出一个开源、基于网络的化学与材料研究平台，通过RESTful API、JSON数据格式和NWChem量子化学计算代码，整合计算与实验数据。该平台利用现代网络技术（包括HTML5、JavaScript和JSON-LD），实现对三维分子结构、电子性质和振动模式的交互式、跨设备可视化与分析，并支持在分布式、联邦部署的实例之间进行可扩展的标准化数据交换。

ABSTRACT

An end-to-end platform for chemical science research has been developed that integrates data from computational and experimental approaches through a modern web-based interface. The platform offers a highly interactive visualization and analytics environment that functions well on mobile, laptop and desktop devices. It offers pragmatic solutions to ensure that large and complex data sets are more accessible. Existing desktop applications/frameworks were extended to integrate with high-performance computing (HPC) resources, and offer command-line tools to automate interaction---connecting distributed teams to this software platform on their own terms. The platform was developed openly, and all source code hosted on the GitHub platform with automated deployment possible using Ansible coupled with standard Ubuntu-based machine images deployed to cloud machines. The platform is designed to enable teams to reap the benefits of the connected web---going beyond what conventional search and analytics platforms offer in this area. It also has the goal of offering federated instances, that can be customized to the sites/research performed. Data gets stored using JSON, extending upon previous approaches using XML, building structures that support computational chemistry calculations. These structures were developed to make it easy to process data across different languages, and send data to a JavaScript web client.

研究动机与目标

• 为解决化学数据的碎片化问题，创建一个统一的开源平台，整合计算与实验结果。
• 利用现代网络技术实现对复杂化学数据的交互式、跨设备可视化与分析。
• 开发一种标准化的、人类与机器均可读的数据格式（Chemical JSON），用于计算化学输出，替代传统格式。
• 支持在研究机构之间联邦化部署该平台，实现定制化与去中心化的数据存储。
• 通过轻量级RESTful网络API和命令行工具，扩展高性能计算（HPC）资源的使用范围，支持自动化工作流。

提出的方法

• 使用Python 3构建服务端组件，通过RESTful API管理数据访问、触发计算并支持身份验证。
• 以JSON作为主要数据交换格式，并通过JSON-LD扩展添加语义注解，实现机器可读语义与链接数据功能。
• 开发单页HTML5/JavaScript网络客户端，通过调用REST API实现实时、交互式的三维分子结构与性质可视化。
• 集成开源可视化库（如三维渲染与图表库），并扩展Avogadro 2和NWChem，使其原生输出新格式的JSON数据。
• 通过相同的RESTful端点支持命令行与桌面客户端集成，实现自动化工作流与HPC作业提交。
• 使用Ansible和基于Ubuntu的云镜像部署平台，所有源代码托管于GitHub，以支持开放协作与可复现性。

实验结果

研究问题

• RQ1 如何在单一、可访问且交互式的平台上统一计算与实验化学数据？
• RQ2 RESTful网络API与基于JSON的数据格式能否实现跨多种化学软件工具的高效、可扩展且互操作的数据交换？
• RQ3 现代网络技术（HTML5、WebGL、JavaScript）在多设备上能否有效支持对复杂三维化学数据的高性能交互式可视化？
• RQ4 如何利用语义网标准（如JSON-LD）在轻量、可扩展的格式中为化学数据添加机器可理解的语义？
• RQ5 何种架构模式能够实现科学平台的联邦化部署，同时保持数据一致性与用户自主权？

主要发现

• 平台成功实现了NWChem计算输出与基于网络的可视化界面的端到端整合，采用新型基于JSON的数据格式。
• RESTful API的使用实现了网络、桌面与命令行客户端之间的无缝交互，支持自动化工作流与HPC集成。
• Chemical JSON格式通过自定义转换器从NWChem日志文件生成，有效表示了包括三维结构、电子态和振动模式在内的复杂数据。
• 网络客户端通过最小化服务端往返通信并在客户端完成大部分渲染，即使在低带宽环境下也实现了高交互性与响应速度。
• 通过使用Ansible和Ubuntu镜像实现模块化容器化部署，验证了平台的联邦化部署能力，支持站点特定的定制化。
• 采用JSON-LD被证明是实现化学数据语义增强的可行路径，未来可转化为RDF三元组并集成至知识图谱。