[论文解读] Synthetic-Neuroscore: Using A Neuro-AI Interface for Evaluating Generative Adversarial Networks

Zhengwei Wang, Qi She+3 more|arXiv (Cornell University)|May 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 5

一句话总结

本文提出 Neuroscore，一种新颖的 GAN 评估指标，通过神经-人工智能接口利用基于脑电图（EEG）的脑信号来反映人类感知质量。通过仅在训练阶段使用神经数据，训练一个卷积神经网络（CNN）来预测从生成图像中得到的合成 P300 响应，该方法在与人类判断的一致性方面表现更优，所需样本量极少（低至 20 个），并能实现逐图像的质量排序，其在感知一致性与效率方面优于 IS、MMD 和 FID。

ABSTRACT

Generative adversarial networks (GANs) are increasingly attracting attention in the computer vision, natural language processing, speech synthesis and similar domains. Arguably the most striking results have been in the area of image synthesis. However, evaluating the performance of GANs is still an open and challenging problem. Existing evaluation metrics primarily measure the dissimilarity between real and generated images using automated statistical methods. They often require large sample sizes for evaluation and do not directly reflect human perception of image quality. In this work, we describe an evaluation metric we call Neuroscore, for evaluating the performance of GANs, that more directly reflects psychoperceptual image quality through the utilization of brain signals. Our results show that Neuroscore has superior performance to the current evaluation metrics in that: (1) It is more consistent with human judgment; (2) The evaluation process needs much smaller numbers of samples; and (3) It is able to rank the quality of images on a per GAN basis. A convolutional neural network (CNN) based neuro-AI interface is proposed to predict Neuroscore from GAN-generated images directly without the need for neural responses. Importantly, we show that including neural responses during the training phase of the network can significantly improve the prediction capability of the proposed model. Materials related to this work are provided at https://github.com/villawang/Neuro-AI-Interface.

研究动机与目标

• 为解决 GAN 性能评估中与人类感知不一致的问题，避免依赖统计差异性指标。
• 降低 GAN 评估的样本量需求，因为大规模图像集的生成常因计算成本过高而不切实际。
• 实现在 GAN 输出中对单个图像进行质量评分，从而识别出高质量与低质量样本，以支持模型优化。
• 开发一种神经-人工智能接口，在训练阶段利用 EEG 信号预测图像的感知质量，而推理阶段无需实时神经数据。

提出的方法

• 训练一个卷积神经网络（CNN），基于人类受试者在观看图像时采集的 EEG 数据，预测从 GAN 生成图像中得到的合成 P300 幅度响应。
• 神经-人工智能接口通过图像特征和对应的单次试次 EEG 响应（如 P300）进行训练，学习从图像到脑电信号模式的映射关系。
• 模型采用束形成法与线性判别分析（LDA）技术提升单次试次 EEG 信号质量，从而实现仅需 20 幅图像呈现即可稳定估计 P300 幅度。
• 合成-Neuroscore 计算为每张生成图像的预测 P300 幅度，作为感知质量评分。
• 评估三种主干网络架构——浅层网络（Shallow）、MobileNet 和 Inception，以确定在预测神经生理响应方面表现最佳的模型。
• 推理阶段，训练好的模型可直接从图像预测 Neuroscore，无需任何神经数据，从而实现可扩展且高效的评估。

实验结果

研究问题

• RQ1 基于 EEG 数据训练的神经-人工智能接口能否以高一致性预测 GAN 生成图像的感知质量，与人类判断一致？
• RQ2 与 FID 和 IS 等传统指标相比，所提出的合成-Neuroscore 是否显著减少可靠评估所需的样本量？
• RQ3 合成-Neuroscore 是否能够对单个生成图像进行质量排序，从而识别出 GAN 输出中表现较差的样本？
• RQ4 即使在测试阶段无法获取神经响应数据，训练阶段引入神经响应数据是否仍能提升神经-人工智能接口的预测准确性？
• RQ5 在与人类感知排序的一致性方面，合成-Neuroscore 与现有指标（IS、MMD、FID）相比表现如何？

主要发现

• 合成-Neuroscore 在匹配人类判断方面达到 0.995 的一致性准确率（BE 准确率），显著优于 IS（0.44）、MMD（0.22）和 FID（63.29）。
• 该方法仅需每样本 20 幅图像呈现即可稳定收敛，展现出极低数据需求下的鲁棒性，而传统指标通常需要数千张图像。
• 使用 EEG 数据训练的神经-人工智能接口在预测准确性上优于无神经监督的模型，证明了神经数据在模型训练中的价值。
• 合成-Neuroscore 支持逐图像质量评分，表现为预测 P300 幅度与个体图像的感知质量在层级上高度相关。
• 在三种主干模型中，MobileNet-EEG 在合成-Neuroscore 上表现最佳（得分为 1.71），同时保持与人类判断的高度一致性。
• 该方法成功解耦了评估阶段对实时神经数据的需求，实现了感知基础的 GAN 评估框架的可扩展部署。