[论文解读] Rotational and Reflectional Equivariant Convolutional Neural Network for data-limited applications: Multiphase Flow demonstration

B. Siddani, S. Balachandar+1 more|arXiv (Cornell University)|Aug 7, 2021

Model Reduction and Neural Networks参考文献 49被引用 24

一句话总结

本文提出一种SE(3)-等变卷积神经网络，通过在颗粒载流的流动预测中强制实施三维旋转和镜像对称性，显著提升了数据稀缺条件下的泛化能力。通过将SO(3)对称性直接嵌入网络架构，该模型在训练数据有限时，相比标准卷积神经网络或数据增强基线模型，实现了更高的精度，同时减少了参数量，并通过对称性约束隐式实现数据增强。

ABSTRACT

This article deals with approximating steady-state particle-resolved fluid flow around a fixed particle of interest under the influence of randomly distributed stationary particles in a dispersed multiphase setup using Convolutional Neural Network (CNN). The considered problem involves rotational symmetry about the mean velocity (streamwise) direction. Thus, this work enforces this symmetry using $\mathbf{ extbf{SE(3)-equivariant}}$, special Euclidean group of dimension 3, CNN architecture, which is translation and three-dimensional rotation equivariant. This study mainly explores the generalization capabilities and benefits of SE(3)-equivariant network. Accurate synthetic flow fields for Reynolds number and particle volume fraction combinations spanning over a range of [86.22, 172.96] and [0.11, 0.45] respectively are produced with careful application of symmetry-aware data-driven approach.

研究动机与目标

• 解决在训练数据有限条件下，数据驱动的流体流动建模中泛化能力差的挑战。
• 通过网络架构设计而非数据增强，强制实现颗粒解析多相流中固有的旋转和镜像对称性。
• 证明对称性感知神经网络能够更准确且统计上一致地预测速度场和压力场。
• 表明在数据稀缺时，SE(3)-等变网络所需的可训练参数更少，泛化能力优于标准卷积神经网络。
• 在不同雷诺数和颗粒体积分数下，基于稳态颗粒解析直接数值模拟（PR-DNS）验证该方法。

提出的方法

• 本研究采用SE(3)-等变卷积神经网络架构，对平移不变且对三维旋转与反射（SO(3)群）保持等变性。
• 网络以局部颗粒位置和流动参数作为输入，预测参考颗粒周围的完整速度场和压力场。
• 空间导数（如速度梯度）通过二阶中心差分格式计算，以固定卷积核的卷积层实现。
• 损失函数包括预测流场及其导数与DNS导出结果之间的归一化均方误差（NMSE）。
• 通过对称性约束通过网络中间层中SO(3)的不可约表示实现，确保在旋转和反射下变换行为的一致性。
• 在多个测试案例中，将该模型与标准3D卷积神经网络及数据增强卷积神经网络（使用旋转/镜像训练样本）进行对比。

实验结果

研究问题

• RQ1 在数据受限条件下，SE(3)-等变卷积神经网络是否能优于标准卷积神经网络和数据增强卷积神经网络，实现更优的流动场预测？
• RQ2 通过网络架构强制实施旋转和镜像对称性，在多大程度上提升了流动预测的统计一致性？
• RQ3 当训练数据稀缺时，对称性强制如何影响数据驱动模型的泛化能力？
• RQ4 当输入略微偏离标准坐标系时，SE(3)-CNN是否仍能保持预测流动场的对称性？
• RQ5 SE(3)-CNN是否能在可训练参数更少的情况下，实现与标准卷积神经网络相当甚至更高的精度？

主要发现

• 在所有测试案例中，SE(3)-CNN在所有流动场分量（包括速度梯度）上均实现了最低的归一化均方误差（NMSE）。
• 在案例1中，SE(3)-CNN的∂p′/∂x的NMSE为0.2272，而数据增强和简单CNN分别为0.2549和0.2593。
• 在SE(3)-CNN下，横向导数∂p′/∂y和∂p′/∂z的NMSE几乎相同（分别为0.3277和0.3276），表明其具有强大的统计对称性保持能力。
• 在低数据场景（训练样本少于20个）下，SE(3)-CNN保持了对称性一致的预测，而数据增强和简单CNN的对称性误差显著更高。
• SE(3)-CNN表现出优越的泛化能力，即使在数据有限时也能实现高精度，这得益于通过对称性约束实现的隐式数据增强。
• 该模型的中间层自然地表示不可约SO(3)表示，从而实现可解释且物理解释一致的流动预测。