[论文解读] Numerical Simulation of Multi-phase Flow in Porous Media on Parallel Computers

Hui Liu, Shen, Lihua+3 more|arXiv (Cornell University)|Jun 2, 2016

Advanced Numerical Methods in Computational Mathematics参考文献 20被引用 3

一句话总结

本文提出了一种用于多相流模拟的并行黑油油藏模拟器，采用基于MPI的域分解和先进的线性求解器，在exascale级系统上实现了出色的可扩展性，对于高达1.4亿个网格单元的模型表现出线性和甚至超线性性能。

ABSTRACT

A parallel reservoir simulator has been developed, which is designed for large-scale black oil simulations. It handles three phases, including water, oil and gas, and three components, including water, oil and gas. This simulator can calculate traditional reservoir models and naturally fractured models. Various well operations are supported, such as water flooding, gas flooding and polymer flooding. The operation constraints can be fixed bottom-hole pressure, a fixed fluid rate, and combinations of them. The simulator is based on our in-house platform, which provides grids, cell-centred data, linear solvers, preconditioners and well modeling. The simulator and the platform use MPI for communications among computation nodes. Our simulator is capable of simulating giant reservoir models with hundreds of millions of grid cells. Numerical simulations show that our simulator matches with commercial simulators and it has excellent scalability.

研究动机与目标

• 开发一种可扩展的并行油藏模拟器，能够处理复杂、非均质油藏中大规模的黑油和油水流动模拟。
• 支持多相模型（水、油、气）和基于组分的模拟，包含完整的井操作约束。
• 确保在求解隐式离散化多相流方程所产生的大规模线性系统时具备鲁棒性和高效性。
• 在高性能计算平台上展示针对十亿网格单元油藏模型的线性和超线性可扩展性。
• 通过与商业工具对比验证，确立其在工业级应用中的可靠性。

提出的方法

• 模拟器基于自研并行平台构建，使用MPI实现节点间通信，支持在数千个处理器上进行分布式内存计算。
• 采用基于单元中心的有限差分法，结合隐式时间推进和不精确牛顿法求解非线性方程组。
• 压力方程采用BiCGSTAB迭代线性求解器求解，并使用RAS（受限加法 Schwarz）预条件器以提升收敛性能。
• 模型支持三相流（水、油、气）及三组分系统，包括溶解气和游离气，基于达西定律和质量守恒方程。
• 通过双孔隙和双渗透率模型，支持常规油藏和天然裂缝油藏。
• 井模型采用固定井底流压、固定产量及混合约束，支持水驱、气驱和聚合物驱的模拟。

实验结果

研究问题

• RQ1 并行油藏模拟器是否能在具有数亿个网格单元的大规模多相油藏模型上实现线性可扩展性？
• RQ2 不精确牛顿法和BiCGSTAB线性求解器在MPI进程数增加时的性能表现如何？
• RQ3 RAS预条件器在求解油藏模拟中产生的大规模稀疏线性系统时，对收敛性和可扩展性的提升程度如何？
• RQ4 在基准油藏模型上，该模拟器与商业模拟器相比在精度和性能方面表现如何？
• RQ5 该模拟器能否以高计算效率处理复杂油藏特征，如裂缝、断层和聚合物驱？

主要发现

• 在IBM Blue Gene/Q系统上，该模拟器对1.4亿网格单元模型实现了线性可扩展性，模拟时间从256核时的约11.4小时减少至4096核时的约0.4小时。
• 对于1亿网格单元模型，在1024至2048个MPI任务间表现出超线性可扩展性，从2048到4096个核心的加速比达到2.3倍。
• 不精确牛顿法在所有情况下均保持鲁棒，平均非线性迭代次数在101至145之间，即使在高处理器数量下也维持收敛。
• 线性求解器（BiCGSTAB）的平均迭代次数随MPI任务数增加从4.9增至6.2，但由于并行性提升，整体运行时间仍持续下降。
• 在4096个核心上，使用GMRES(30)结合RAS预条件器，仅用不到2分钟求解了30亿自由度的线性系统，展现出极强的可扩展性。
• 数值结果与商业模拟器结果一致，验证了所提并行实现的精度和可靠性。