[论文解读] Photo-Guided Exploration of Volume Data Features

Mohammad Raji, Alok Hota+3 more|arXiv (Cornell University)|Oct 18, 2017

Computer Graphics and Visualization Techniques参考文献 21被引用 3

一句话总结

本文提出了一种基于照片引导的、深度学习增强的进化优化方法，可自动发现体积渲染参数以匹配目标图像（如飓风的卫星照片）。通过使用孪生神经网络衡量图像相似性，并利用遗传算法迭代优化传输函数，该系统在超算上仅用不到7分钟即可生成科学模拟数据的视觉准确渲染结果，实现了无需人工调参的自动化视觉特征发现。

ABSTRACT

In this work, we pose the question of whether, by considering qualitative information such as a sample target image as input, one can produce a rendered image of scientific data that is similar to the target. The algorithm resulting from our research allows one to ask the question of whether features like those in the target image exists in a given dataset. In that way, our method is one of imagery query or reverse engineering, as opposed to manual parameter tweaking of the full visualization pipeline. For target images, we can use real-world photographs of physical phenomena. Our method leverages deep neural networks and evolutionary optimization. Using a trained similarity function that measures the difference between renderings of a phenomenon and real-world photographs, our method optimizes rendering parameters. We demonstrate the efficacy of our method using a superstorm simulation dataset and images found online. We also discuss a parallel implementation of our method, which was run on NCSA's Blue Waters.

研究动机与目标

• 使用目标照片作为输入，自动搜索科学体积数据集中的视觉特征。
• 减少科学可视化流程中对专家知识和人工参数调优的依赖。
• 使用户能够查询真实世界图像（如飓风）中的特征是否存在于模拟数据中。
• 开发一种可扩展、可复现的渲染参数优化方法，利用图像相似性度量。
• 证明通过定性输入逆向工程可视化参数的可行性。

提出的方法

• 训练一个孪生卷积神经网络，以计算渲染体积图像与目标照片之间的感知相似性。
• 利用遗传算法演化传输函数参数的种群，以最小化渲染图像与目标之间的深度度量损失。
• 通过在渲染配置种群上执行交叉和变异操作，高效探索参数空间。
• 系统利用蓝水超算的并行计算能力，使用60个计算节点实现加速执行。
• 整个可视化流程完全通过VisIt的Python API控制，确保可复现性，并与现有科学工作流无缝集成。
• 该方法保留原始数据，仅修改传输函数，避免对数据本身进行任何修改。

实验结果

研究问题

• RQ1 基于深度学习的图像相似性度量能否有效引导体积渲染参数优化，以匹配目标照片？
• RQ2 遗传算法在多大程度上能高效探索高维渲染参数空间，以找到视觉上相似的结果？
• RQ3 该方法能否自动化识别科学模拟中与现实观测相匹配的视觉特征？
• RQ4 种群初始化对优化过程的收敛速度和解的质量有何影响？
• RQ5 渲染方法和相机视角对最终输出质量与一致性有何影响？

主要发现

• 系统仅使用模拟数据和目标图像作为输入，成功生成了与Google图片中目标飓风照片在视觉上匹配的体积渲染图像。
• 在种群初始化条件下，优化在20代内收敛至最小成本0.012，显著优于未初始化的运行结果。
• 未进行种群初始化时，最佳成本为0.02，表明初始化能提升收敛速度和解的质量。
• 该方法在蓝水超算上使用60个计算节点，仅用6至7分钟完成，证明了其可扩展性。
• 光线投射与3D纹理化产生不同结果，表明优化与最终渲染阶段必须保持渲染方法一致。
• 该方法实现了无需修改原始数据的自动化、可复现的渲染参数选择，支持科学数据集中的视觉搜索。