[论文解读] Supervised Metric Regularization Through Alternating Optimization for Multi-Regime Physics-Informed Neural Networks

Enzo Nicolás Spotorno, Josafat Ribeiro Leal+1 more|arXiv (Cornell University)|Feb 10, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

该论文提出 TAPINN，一种带有监督度量正则化的拓扑感知 PINN，并采用交替优化策略以更好地处理多模态动力学，在比 HyperPINN 更少的参数下提升物理残差。

ABSTRACT

Standard Physics-Informed Neural Networks (PINNs) often face challenges when modeling parameterized dynamical systems with sharp regime transitions, such as bifurcations. In these scenarios, the continuous mapping from parameters to solutions can result in spectral bias or "mode collapse", where the network averages distinct physical behaviors. We propose a Topology-Aware PINN (TAPINN) that aims to mitigate this challenge by structuring the latent space via Supervised Metric Regularization. Unlike standard parametric PINNs that map physical parameters directly to solutions, our method conditions the solver on a latent state optimized to reflect the metric-based separation between regimes, showing ~49% lower physics residual (0.082 vs. 0.160). We train this architecture using a phase-based Alternating Optimization (AO) schedule to manage gradient conflicts between the metric and physics objectives. Preliminary experiments on the Duffing Oscillator demonstrate that while standard baselines suffer from spectral bias and high-capacity Hypernetworks overfit (memorizing data while violating physics), our approach achieves stable convergence with 2.18x lower gradient variance than a multi-output Sobolev Error baseline, and 5x fewer parameters than a hypernetwork-based alternative.

研究动机与目标

• 在建模具有尖锐模式转换的参数化动力系统时，动机与解决 PINN 的光谱偏差和模式崩溃问题。
• 提出一个单网络 TAPINN 架构，使用监督度量学习通过模式对潜在空间进行结构化。
• 开发一个交替优化的训练计划，在施加物理约束前稳定潜在空间。
• 在 Duffing 振子问题上展示物理残差的降低以及相对于基线更高的模型效率。

提出的方法

• 带有 LSTM 编码器的编码器-生成器 TAPINN，将短观测窗口映射到潜在变量 z。
• 三元组损失（度量损失）通过在批内锚点/正样本（同一驱动幅值 F0）与负样本（不同 F0）之间对潜在表示按模式聚类。
• 物理损失对生成器输出在给定 z 条件下的微分方程残差进行约束。
• 基于相位的交替优化：Phase I 在 L_metric 上对编码器进行优化；Phase II 在保持编码器冻结的情况下，使用物理损失和数据损失优化生成器；每隔若干批次进行交错的联合更新。
• 损失组成 L_total = L_data + alpha L_physics + beta L_metric，alpha 与 beta 进行调优（如 alpha=1.0、beta=0.1）。
• 相位编排：总共 30 轮（Phase I 5 轮仅对编码器进行 L_metric；Phase II 20 轮仅对生成器进行 L_physics+L_data；随后每 k=5 批次进行交错的联合更新）。
• 使用 LSTM 编码器以捕捉时间相关性并提升相较于简单结构的模式判别能力。

Figure 1: Qualitative analysis of the Topology-Aware training process: (a) Gradient norms during training. The Multi-Output baseline (orange) shows significant spikes near regime transitions compared to ours (blue). (b) t-SNE visualization of the learned embeddings $z$ , colored by regime ( $F_{0}$

实验结果

研究问题

• RQ1 超参数化的拓扑感知潜在空间是否通过监督度量正则化实现，从而在不使用超网络的情况下改善 PINN 的模态分离？
• RQ2 交替优化是否能稳定度量目标与物理目标之间的梯度冲突，并在分岔附近改善优化？
• RQ3 相较于参数 PINN、HyperPINN 与 Sobolev 基于多输出的基线，TAPINN 在物理残差、数据拟合和参数效率方面的表现如何？
• RQ4 学习得到的潜在空间 z 是否对控制参数 F0 线性化，从而实现简单的预测映射？
• RQ5 该方法是否能推广到 Duffing 类之外的其他多模态动力系统？

主要发现

• TAPINN 实现的物理残差为 0.082，在物理一致性方面优于基线。
• TAPINN 使用 8,003 个参数，而 HyperPINN 为 39,169 个，参数量减少约 5 倍。
• HyperPINN 获得最低的数据均方误差 (0.281)，但物理残差较高 (0.158)，表明存在只记忆而未遵循物理规律的情况。
• 参数化基线的物理残差为 0.160，参数量为 8,577，数据 MSE 为 0.392。
• 多输出基线的物理残差为 0.192，数据 MSE 为 0.426，参数量为 8,069。
• 与多输出基线相比，我们的方法在平均梯度范数低 2.14×、梯度方差小 2.18×，显示训练更稳定。