[论文解读] Variational Autoencoding Neural Operators

Jacob H. Seidman, Georgios Kissas+2 more|arXiv (Cornell University)|Feb 20, 2023

Machine Learning in Materials Science被引用 4

一句话总结

本文提出变分自编码神经算子（VANO），一种新颖的框架，将变分自编码器与算子学习架构相结合，实现在无限维空间中对函数数据进行无监督表征学习和生成建模。通过在函数空间中制定严格的变分目标，VANO 学习输入函数的解耦潜在表征，并通过可微算子进行重建，实现了在高斯随机场、Cahn-Hilliard 相分离以及真实卫星干涉图数据上的最先进性能，且在泛化能力和离散化不变性方面均有提升。

ABSTRACT

Unsupervised learning with functional data is an emerging paradigm of machine learning research with applications to computer vision, climate modeling and physical systems. A natural way of modeling functional data is by learning operators between infinite dimensional spaces, leading to discretization invariant representations that scale independently of the sample grid resolution. Here we present Variational Autoencoding Neural Operators (VANO), a general strategy for making a large class of operator learning architectures act as variational autoencoders. For this purpose, we provide a novel rigorous mathematical formulation of the variational objective in function spaces for training. VANO first maps an input function to a distribution over a latent space using a parametric encoder and then decodes a sample from the latent distribution to reconstruct the input, as in classic variational autoencoders. We test VANO with different model set-ups and architecture choices for a variety of benchmarks. We start from a simple Gaussian random field where we can analytically track what the model learns and progressively transition to more challenging benchmarks including modeling phase separation in Cahn-Hilliard systems and real world satellite data for measuring Earth surface deformation.

研究动机与目标

• 开发一种通用方法，将算子学习架构适配于函数数据的无监督表征学习与生成建模。
• 解决现有 VAE 在函数数据上点对点训练目标的局限性，这些局限性对采样密度敏感且缺乏函数级泛化能力。
• 在无限维函数空间中建立严格的变分目标数学形式，使 VAE 能够在连续场而非点采样上进行训练。
• 实现在任意空间位置上独立于输入离散化的潜在空间解耦与函数数据重建。
• 在多样化基准上展示该框架的有效性，包括合成高斯场、非线性 PDE 以及真实地球观测数据。

提出的方法

• 提出一种基于核均值嵌入与广义 MMD（GMMD）的函数空间变分目标，用于比较函数上的概率测度。
• 采用参数化编码器 $\mathcal{E}_{\phi}$ 将输入函数映射到潜在分布 $\mathbb{Q}^{\phi}_{z|u}$，并使用解码器 $\mathcal{D}_{\theta}$ 从采样潜在变量中重建输入。
• 使用神经算子架构（如 FNO 或 U-Net 变体）作为编码器与解码器，实现在任意空间网格上的离散化不变推理。
• 应用具有多尺度长度参数的高斯核族 GMMD，以稳健地度量真实与生成函数数据之间的分布相似性。
• 通过反向传播端到端训练模型，最小化变分下界（ELBO），并使用重参数化技巧实现随机梯度优化。
• 采用圆形方差与偏度度量评估周期性数据（如干涉相位）中函数生成质量。

实验结果

研究问题

• RQ1 能否系统性地将算子学习架构适配于无限维空间中函数数据的无监督表征学习与生成建模？
• RQ2 如何在函数空间中建立严格的变分目标形式，以实现在连续场而非点采样上训练 VAE？
• RQ3 与优化点对点似然的现有 VAE 相比，VANO 是否在不同采样密度下展现出更优的泛化能力与鲁棒性？
• RQ4 VANO 能否学习复杂函数数据（如相分离模式与卫星干涉图）的解耦且有意义的潜在表征？
• RQ5 与单核 MMD 相比，使用核族的 GMMD 在函数生成建模中在分布匹配方面有多大提升？

主要发现

• 在 2D 高斯密度生成任务中，VANO 取得最先进性能，GMMD 值显示在所有测试长度尺度下真实数据与生成数据间具有高度分布相似性。
• 在 $256 \times 256$ 分辨率的 Cahn-Hilliard 系统中，VANO（非线性）使用 1,667,000 个可训练参数与 1,660 秒训练时间，其重建保真度与泛化能力优于基线 VAE。
• 在 InSAR 干涉图数据上，VANO 测试损失为 0.0048，参数量达 11.1 百万，展现出在具有复杂相位模式的真实地球物理数据上的强大性能。
• 该模型成功捕捉了干涉相位的圆形特性，生成数据表现出低圆形方差（0.08）与低偏度（0.12），表明对角度分布的准确建模。
• 通过插值与条件采样验证了 VANO 潜在空间的解耦性，潜在维度间生成的函数输出呈现出平滑且物理解释合理的过渡。
• 使用核族（$\sigma \in [0.1, 20]$）的 GMMD 相较于单核 MMD，训练更稳健稳定，后者在高分辨率或稀疏采样下常出现崩溃。