[论文解读] Variable-Input Deep Operator Networks

Michael Prasthofer, Tim De Ryck+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了一种新型算子学习框架——可变输入深度算子网络（VIDON），该框架支持在训练和测试样本中灵活调整传感器位置和传感器数量。VIDON实现了对映射至Sobolev空间的连续算子的排列不变性与通用逼近能力，理论证明其对PDE导出算子具有高效的逼近性能，并在包括Darcy流、Allen-Cahn方程和Navier-Stokes方程在内的多种PDE中展现出强大的实验性能。

ABSTRACT

Existing architectures for operator learning require that the number and locations of sensors (where the input functions are evaluated) remain the same across all training and test samples, significantly restricting the range of their applicability. We address this issue by proposing a novel operator learning framework, termed Variable-Input Deep Operator Network (VIDON), which allows for random sensors whose number and locations can vary across samples. VIDON is invariant to permutations of sensor locations and is proved to be universal in approximating a class of continuous operators. We also prove that VIDON can efficiently approximate operators arising in PDEs. Numerical experiments with a diverse set of PDEs are presented to illustrate the robust performance of VIDON in learning operators.

研究动机与目标

• 解决现有算子学习框架（如FNOs和DeepONets）的局限性——这些框架要求所有样本中传感器位置和数量固定。
• 实现对真实世界数据中传感器配置变化（如测量噪声、设备故障或不同时空分辨率）的鲁棒算子学习。
• 确保排列不变性，即重新排列传感器输入不会影响输出，以反映输入数据的功能性本质。
• 设计一种理论基础坚实的架构，保持对映射至Sobolev空间的连续算子的通用逼近能力。
• 通过在具有不同传感器配置（包括随机和可变位置）的PDE上进行综合数值实验，证明该框架的有效性。

提出的方法

• 提出VIDON，一种受Transformer启发的架构，采用多头注意力机制处理可变长度的传感器输入数据。
• 集成坐标编码与传感器位置编码，使模型能够处理任意传感器位置和数量。
• 使用共享主干网络将注意力特征映射到输出域中任意评估点的函数值。
• 通过架构设计实现排列等变性，确保无论传感器顺序如何，输出保持一致。
• 在注意力机制中采用可学习的查询、键和值投影，以动态关注相关传感器输入。
• 使用标准优化方法进行训练，配合学习率调度与权重衰减，并根据具体问题和传感器配置调整超参数。

实验结果

研究问题

• RQ1 能否设计一种深度算子网络，以处理输入传感器数量和位置可变的情况，同时保持泛化能力与不变性？
• RQ2 VIDON在具有灵活传感器配置的情况下，是否仍具备对映射至Sobolev空间的连续算子的通用逼近能力？
• RQ3 VIDON是否对PDE导出的算子实现高效逼近率，且网络规模随目标精度倒数的多项式增长？
• RQ4 当传感器配置在训练和测试数据中变化时，VIDON在实际表现上是否优于或等同于FNO和DeepONet？
• RQ5 VIDON是否能在存在缺失传感器、随机布置或不规则采样模式的真实世界数据上实现泛化，且性能不下降？

主要发现

• VIDON即使在输入传感器位置和数量随样本变化的情况下，仍能实现对映射至Sobolev空间的连续算子的通用逼近。
• 理论分析表明，VIDON可高效逼近PDE导出的算子，且网络规模最多随目标精度倒数的多项式增长。
• 在数值实验中，VIDON在具有可变随机传感器位置的Navier-Stokes方程上实现了8.28% ± 0.03%的测试误差，优于或匹配基线模型。
• VIDON在Darcy流、Allen-Cahn和Navier-Stokes等不同PDE上，对不规则、缺失及随机布置的传感器均保持了稳健性能。
• 使用可变传感器配置进行训练是可行且稳定的，学习率与权重衰减已根据问题和配置类型进行调优。
• 运行时间因配置而异，主要由于输出域评估点的差异，尤其当主干网络需在大量不同位置进行评估时更为显著。