[论文解读] TT-PINN: A Tensor-Compressed Neural PDE Solver for Edge Computing
该论文提出TT-PINN，一种基于张量-列车（TT）分解的张量压缩物理信息神经网络，可显著减少模型参数量和内存占用，同时在求解偏微分方程（PDEs）时保持高精度。通过将全连接层中的密集权重矩阵替换为低秩TT核心，TT-PINN实现了高达15倍的参数压缩，且在参数显著减少的情况下优于标准PINNs，从而可在资源受限的边缘设备上实现高效训练。
Physics-informed neural networks (PINNs) have been increasingly employed due to their capability of modeling complex physics systems. To achieve better expressiveness, increasingly larger network sizes are required in many problems. This has caused challenges when we need to train PINNs on edge devices with limited memory, computing and energy resources. To enable training PINNs on edge devices, this paper proposes an end-to-end compressed PINN based on Tensor-Train decomposition. In solving a Helmholtz equation, our proposed model significantly outperforms the original PINNs with few parameters and achieves satisfactory prediction with up to 15$ imes$ overall parameter reduction.
研究动机与目标
- 为解决在内存、计算和能效资源有限的边缘设备上训练大型物理信息神经网络（PINNs）的挑战。
- 通过减小模型大小和内存占用，在不牺牲解精度的前提下，实现在边缘平台上的端到端PINN训练。
- 探索使用张量-列车（TT）分解作为PINNs在求解PDEs时的压缩机制的可行性。
- 证明压缩后的PINN架构可达到或超越更大、未压缩PINNs的性能。
提出的方法
- TT-PINN框架将标准PINN全连接层中的密集权重矩阵替换为低秩张量-列车（TT）分解，从而减少参数数量和内存使用。
- 权重矩阵被分解为一系列TT核心，每个核心是一个小型张量，用于存储原始矩阵的压缩表示。
- 使用自动微分进行端到端训练，梯度通过TT核心直接反向传播以更新参数。
- TT秩根据期望的压缩比率确定，该方法支持固定秩和自适应秩确定。
- 架构采用Sine激活函数和Xavier初始化，使用Adam优化器和学习率衰减进行训练。
- 物理定律（PDE、边界条件和初始条件）被直接嵌入损失函数中，保持网络的物理信息特性。
实验结果
研究问题
- RQ1张量-列车分解能否在保持PDE求解精度的前提下，有效压缩PINNs，使其适用于边缘设备？
- RQ2在求解Helmholtz方程时，TT压缩PINN的性能与相同或更大规模的标准PINN相比如何？
- RQ3在不降低预测性能的前提下，使用TT分解在PINNs中可实现多大程度的参数和内存压缩？
- RQ4TT-PINN能否在计算和内存资源有限的边缘设备上实现训练，同时保持高解精度？
主要发现
- 仅含3,713个参数的TT-PINN实现了3.03e-2的相对ℓ₂误差，与含50,049个参数的标准PINN性能相当。
- 对256×256权重矩阵实现100×压缩的TT-PINN，实现了2.25e-4的均方误差和3.03e-2的相对ℓ₂误差，优于含12,737个参数的标准PINN。
- 对256×256矩阵实现40×压缩的TT-PINN，实现了7.75e-3的相对ℓ₂误差，显著优于含12,737个参数的标准PINN。
- TT-PINN相比标准PINNs实现了最高达15倍的整体参数压缩，同时保持或提升了解的精度。
- 可视化对比显示，含3,713个参数的TT-PINN产生的解比含12,737个参数的标准PINN更精确。
- 该方法表明，低秩TT结构可保留大型PINNs的表达能力，从而实现在边缘设备上的高效部署。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。