[论文解读] Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery

Nathaniel Trask, Carianne Martinez+2 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning in Materials Science被引用 4

一句话总结

该论文提出物理信息多模态自编码器（PIMA），一种无监督变分推断框架，通过融合低保真度、高通量测量与物理信息先验，实现多模态科学数据的解耦。通过结合多专家模型进行多模态后验融合、高斯混合先验以识别共享潜在簇，以及基于物理信息的专家混合解耦结构，PIMA 实现了精确的跨模态生成——在仅使用晶格拓扑图像预测应力-应变曲线时，分类准确率达到 94.74%。

ABSTRACT

We introduce physics-informed multimodal autoencoders (PIMA) - a variational inference framework for discovering shared information in multimodal scientific datasets representative of high-throughput testing. Individual modalities are embedded into a shared latent space and fused through a product of experts formulation, enabling a Gaussian mixture prior to identify shared features. Sampling from clusters allows cross-modal generative modeling, with a mixture of expert decoder imposing inductive biases encoding prior scientific knowledge and imparting structured disentanglement of the latent space. This approach enables discovery of fingerprints which may be detected in high-dimensional heterogeneous datasets, avoiding traditional bottlenecks related to high-fidelity measurement and characterization. Motivated by accelerated co-design and optimization of materials manufacturing processes, a dataset of lattice metamaterials from metal additive manufacturing demonstrates accurate cross modal inference between images of mesoscale topology and mechanical stress-strain response.

研究动机与目标

• 在无需昂贵标注的情况下，实现对高维异构多模态数据集中科学指纹的无监督发现。
• 通过用快速、低保真度替代测量替代慢速、高保真度测量，克服高通量材料发现中的瓶颈。
• 将物理定律与科学先验整合到深度生成模型中，实现潜在表征的结构化、可解释性解耦。
• 通过共享潜在簇实现跨模态生成建模——从低保真度模态推断高保真度模态。
• 通过在统一的变分推断框架中融合实验图像与基于物理的模型，加速材料设计与工艺优化。

提出的方法

• 使用单模态编码器将各模态 $X_i$ 映射到共享潜在空间中的高斯后验分布 $q(Z|X_i)$。
• 应用多专家模型（PoE）公式将单模态后验融合为多模态后验 $q(Z|\mathbf{X}) = \prod_i q(Z|X_i)$，实现互补信息的整合。
• 在潜在空间上施加高斯混合先验 $p(Z|c)$，以识别代表科学指纹的共享跨模态簇 $c$。
• 采用物理信息多专家（MoE）解码器 $p(X_i|c,Z)$，其中每个专家为参数化的物理模型（如线性应变硬化模型），嵌入科学归纳偏置。
• 通过新颖的期望-最大化策略在变分下界（ELBO）上优化模型，利用闭式积分实现高效训练。
• 通过训练单模态编码器以重建多模态后验，实现跨模态推理，从而可对任意模态 $X_i$ 估计 $p(c|X_i)$。

实验结果

研究问题

• RQ1 无监督深度生成模型能否在无标注数据的情况下，从异构科学模态中发现共享且可解释的表征？
• RQ2 如何将物理信息归纳偏置嵌入多模态自编码器中，以提升解耦与可解释性？
• RQ3 能否利用低保真度、高通量测量（如图像）准确推断高保真度、测量耗时的物理响应（如应力-应变曲线）？
• RQ4 通过专家混合模型整合物理模型，在生成性能与科学保真度方面相较于纯数据驱动方法，提升程度如何？
• RQ5 所学习的潜在簇（指纹）能否用于跨模态生成新的、物理上合理的数据？

主要发现

• PIMA 框架仅使用图像数据，对应力-应变曲线的潜在簇识别达到了 94.74% 的分类准确率，证明了其强大的跨模态推理能力。
• 该模型成功生成了对应于不同力学行为（八面体与螺旋晶格）的微观结构图像，展示了从潜在簇进行有效生成建模的能力。
• 采用物理信息 MoE 解码器——特别是线性应变硬化模型——对应力-应变数据提供了物理解释性强的拟合，准确捕捉了屈服应力与弹性模量等关键材料性能。
• 该框架实现了从低保真度成像数据对高保真度力学响应的精确生成建模，显著降低了对昂贵实验表征的依赖。
• 通过高斯混合先验对潜在空间进行无监督聚类，揭示了数据中自然存在的分组，对应于不同的材料拓扑结构与力学响应。
• 该方法通过利用快速、易获取的数据源替代昂贵测量，展示了在高通量科学发现中的可行性。