[论文解读] Phase space sampling and operator confidence with generative adversarial networks

Kyle Mills, Isaac Tamblyn|arXiv (Cornell University)|Oct 23, 2017

Seismic Imaging and Inversion Techniques被引用 5

一句话总结

本文提出使用生成对抗网络（GAN）对统计力学系统中的相空间进行采样，同时以置信度估计算符值（例如能量、磁化强度）。通过训练判别器以同时预测真实/生成标签和算符值，模型充当异常检测器，对分布内样本输出高置信度，对分布外或不熟悉构型输出低置信度。

ABSTRACT

We demonstrate that a generative adversarial network can be trained to produce Ising model configurations in distinct regions of phase space. In training a generative adversarial network, the discriminator neural network becomes very good a discerning examples from the training set and examples from the testing set. We demonstrate that this ability can be used as an anomaly detector, producing estimations of operator values along with a confidence in the prediction.

研究动机与目标

• 开发一种在复杂系统（如伊辛模型）中实现高效相空间采样的方法，而无需事先了解底层分布。
• 解决在分子动力学和蒙特卡洛模拟中使用机器学习势能时对预测置信度的迫切需求。
• 通过利用判别器的置信度输出，实现在模拟过程中对非物理或分布外构型的早期检测。
• 证明训练好的GAN判别器可兼具双重功能：区分真实与生成样本，并对算符值进行回归且估计不确定性。
• 提供一个实用框架，用于识别模拟是否进入配置空间中不熟悉的区域，从而实现干预或重新训练。

提出的方法

• 训练一个生成对抗网络（GAN），其中生成器生成伊辛模型构型，判别器区分真实训练样本与生成样本。
• 在判别器中增加辅助头，以在训练过程中预测算符值（例如能量、磁化强度），从而实现联合回归与分类。
• 将判别器的输出用作算符预测的置信度估计，其中输出幅值越大表示置信度越高。
• 在能量范围的均匀分布上评估判别器，以测试其检测分布外构型的能力。
• 利用判别器的置信度分数作为预测可靠性的代理指标，特别是在训练数据未覆盖的区域。
• 利用训练好的生成器从目标相空间分布中采样新构型，从而实现对复杂系统的高效探索。

实验结果

研究问题

• RQ1 能否训练GAN以在不同热力学状态下对伊辛模型的相空间构型进行采样？
• RQ2 能否在同时区分真实与生成样本的同时，训练GAN中的判别器以预测算符值（例如能量、磁化强度）？
• RQ3 判别器输出幅值是否与预测置信度相关，特别是在训练分布之外的区域？
• RQ4 判别器能否通过识别偏离训练流形的构型来充当异常检测器？
• RQ5 判别器的置信度估计在多大程度上可指导模拟安全性，以检测非物理或分布外状态？

主要发现

• 判别器在分布内训练样本上成功学习到对算符值（例如能量）的高精度预测，如直方图中预测值与真实值之间高度一致所显示。
• 对于处于训练分布内的构型，判别器输出高置信度，表明在数据存在的区域预测可靠。
• 对于缺乏训练数据的区域中的构型，判别器输出低置信度，有效检测出分布外或新颖构型。
• 置信度估计能力可实现对非物理状态的早期检测，例如系统漂移或超出训练流形的外推所导致的状态。
• 该方法通过结合基于GAN的采样与判别器的不确定性估计，提供了一套实用的、具备置信度感知的模拟端到端解决方案。
• 该方法表明，GAN不仅可用于生成，还可被重新用于物理系统中可靠且具备置信度感知的回归。