[论文解读] Transformer Meets Boundary Value Inverse Problems

Ruchi Guo, Shuhao Cao+1 more|arXiv (Cornell University)|Sep 29, 2022

Electrical and Bioimpedance Tomography被引用 9

一句话总结

本文提出了一种基于Transformer的深度直接采样方法，用于电导率断层扫描（EIT），这是一种严重不适定的边界值逆问题。通过利用基于PDE的边界数据调和扩展，并将直接采样重新表述为可学习的注意力机制，该模型在先前的算子学习器方法之上实现了更优的重建精度和抗噪鲁棒性，表明物理信息神经架构设计可提升逆问题中的性能表现。

ABSTRACT

A Transformer-based deep direct sampling method is proposed for electrical impedance tomography, a well-known severely ill-posed nonlinear boundary value inverse problem. A real-time reconstruction is achieved by evaluating the learned inverse operator between carefully designed data and the reconstructed images. An effort is made to give a specific example to a fundamental question: whether and how one can benefit from the theoretical structure of a mathematical problem to develop task-oriented and structure-conforming deep neural networks? Specifically, inspired by direct sampling methods for inverse problems, the 1D boundary data in different frequencies are preprocessed by a partial differential equation-based feature map to yield 2D harmonic extensions as different input channels. Then, by introducing learnable non-local kernels, the direct sampling is recast to a modified attention mechanism. The new method achieves superior accuracy over its predecessors and contemporary operator learners and shows robustness to noises in benchmarks. This research shall strengthen the insights that, despite being invented for natural language processing tasks, the attention mechanism offers great flexibility to be modified in conformity with the a priori mathematical knowledge, which ultimately leads to the design of more physics-compatible neural architectures.

研究动机与目标

• 为解决在电导率断层扫描（EIT）中，从有限边界测量数据重建内部电导率分布的挑战，EIT是典型的不适定非线性逆问题。
• 探究并阐明逆问题的内在数学结构在指导特定任务、结构一致的深度神经网络设计中的作用。
• 通过将直接采样方法的先验知识整合到Transformer架构中，提升EIT中重建精度和鲁棒性。
• 开发一种实时逆算子学习框架，使其在噪声和数据有限的场景下具备良好的泛化能力。

提出的方法

• 该方法使用基于PDE的特征映射对多频段的一维边界数据进行预处理，生成二维调和扩展作为输入通道，将物理约束嵌入输入表征中。
• 通过引入可学习的非局部核，用修改后的注意力机制替代标准自注意力机制，有效将直接采样重构为可微、可学习的算子。
• 模型端到端学习从边界测量到电导率重建的逆映射，将逆问题视为在紧致数据流形上的高维插值任务。
• 该架构在采样电导率配置的数据集上进行训练，将逆算子近似为从边界数据对到重建图像的神经网络映射。
• 该方法利用诺伊曼到狄利克雷映射的理论结构和调和扩展，确保潜在空间中的物理一致性。
• 在不同噪声水平的基准测试上对模型进行评估，验证了其鲁棒性和实时推理能力。

实验结果

研究问题

• RQ1 Transformer中的注意力机制能否被有效重构，以符合边界值逆问题的数学结构？
• RQ2 将基于PDE的调和扩展作为输入通道，如何提升深度学习模型在逆问题中的性能？
• RQ3 在从有限边界数据重建电导率分布方面，物理信息神经架构在多大程度上优于标准算子学习器？
• RQ4 将直接采样原理整合到深度学习框架中，是否能增强对测量噪声的鲁棒性？

主要发现

• 与经典直接采样方法和当代算子学习器相比，所提方法在基准EIT问题上实现了更优的重建精度。
• 该模型对边界测量中的噪声表现出强鲁棒性，在显著扰动下仍能保持高保真度。
• 将基于PDE的调和扩展作为输入通道，显著提升了模型捕捉与电导率重建相关空间域和频域特征的能力。
• 可学习的非局部核机制有效推广了直接采样方法，支持端到端训练和实时推理。
• 受逆问题数学结构启发的架构设计，相比标准深度学习基线，展现出更优的泛化能力和稳定性。
• 理论分析表明，所学逆算子的近似误差随训练样本数的增加而有利地减小，支持其在紧致数据流形上的收敛性。