[论文解读] ScoreGAN: A Fraud Review Detector based on Multi Task Learning of Regulated GAN with Data Augmentation

Saeedreza Shehnepoor, Roberto Togneri+2 more|arXiv (Cornell University)|Jun 11, 2020

Spam and Phishing Detection参考文献 36被引用 5

一句话总结

ScoreGAN 提出了一种受控 GAN 框架，用于欺诈评论检测，通过信息增益最大化（IGM）联合建模评论文本和评分，生成与评分相关的、类似机器人的评论。通过将评分整合到损失函数中，ScoreGAN 提升了 GAN 的稳定性，增强了判别器的泛化能力，并在 Yelp 上比 FakeGAN 提高了 7% 的平均精度（AP），在 TripAdvisor 上提高了 5%。

ABSTRACT

The promising performance of Deep Neural Networks (DNNs) in text classification, has attracted researchers to use them for fraud review detection. However, the lack of trusted labeled data has limited the performance of the current solutions in detecting fraud reviews. The Generative Adversarial Network (GAN) as a semi-supervised method has demonstrated to be effective for data augmentation purposes. The state-of-the-art solutions utilize GANs to overcome the data scarcity problem. However, they fail to incorporate the behavioral clues in fraud generation. Additionally, state-of-the-art approaches overlook the possible bot-generated reviews in the dataset. Finally, they also suffer from a common limitation in scalability and stability of the GAN, slowing down the training procedure. In this work, we propose ScoreGAN for fraud review detection that makes use of both review text and review rating scores in the generation and detection process. Scores are incorporated through Information Gain Maximization (IGM) into the loss function for three reasons. One is to generate score-correlated reviews based on the scores given to the generator. Second, the generated reviews are employed to train the discriminator, so the discriminator can correctly label the possible bot-generated reviews through joint representations learned from the concatenation of GLobal Vector for Word representation (GLoVe) extracted from the text and the score. Finally, it can be used to improve the stability and scalability of the GAN. Results show that the proposed framework outperformed the existing state-of-the-art framework, namely FakeGAN, in terms of AP by 7\%, and 5\% on the Yelp and TripAdvisor datasets, respectively.

研究动机与目标

• 通过利用生成建模解决欺诈评论检测中的数据稀缺问题。
• 克服现有基于 GAN 的方法无法将生成的评论与评分等元数据相关联的局限性。
• 通过显式建模机器人生成的评论实现评分感知生成，提升检测的鲁棒性。
• 通过在损失函数中引入信息增益最大化（IGM），稳定 GAN 训练并提升跨数据集的可扩展性。
• 通过生成真实且与评分相关的虚假评论，实现半监督欺诈检测的有效数据增强。

提出的方法

• 采用双判别器 GAN 架构，包含一个生成器和两个判别器：一个用于真实/虚假评论分类，另一个用于区分人类与机器人生成的欺诈评论。
• 通过信息增益最大化（IGM）将评论评分整合到生成器的损失函数中，以确保生成的评论与输入评分相关联。
• 利用 GLoVe 嵌入（用于文本）和评分向量（用于元数据）的联合表征，训练判别器以提升检测性能。
• 应用 IGM 选择相对于评分信息增益最大的生成样本，促进生成更具真实感、更像人类的欺诈评论。
• 利用生成的评论进行数据增强，提升在 Yelp 和 TripAdvisor 等数据集上的泛化能力和可扩展性。
• 使用 IGM 正则化 GAN 目标函数，以稳定训练并缓解常见的 GAN 不稳定性和收敛问题。

实验结果

研究问题

• RQ1 将评分整合到 GAN 损失函数中，是否能提升生成欺诈评论的质量与真实性？
• RQ2 与评分相关的数据生成是否能增强判别器检测机器人生成评论的能力？
• RQ3 基于 IGM 的损失正则化是否能稳定 GAN 训练并提升欺诈评论检测中的收敛性？
• RQ4 ScoreGAN 在 AP、AUC 和准确率等指标上与 SOTA 方法（如 FakeGAN）相比表现如何，跨不同数据集的表现如何？
• RQ5 使用 ScoreGAN 进行数据增强，在小样本或类别不平衡的训练集上，能在多大程度上提升模型的鲁棒性？

主要发现

• 在 Yelp 数据集上，ScoreGAN 的平均精度（AP）达到 65.16%，相比 SOTA 的 FakeGAN 框架提升了 7%。
• 在 TripAdvisor 数据集上，ScoreGAN 的 AP 比 FakeGAN 高出 5%，表明在不同领域中均实现了稳定的性能提升。
• ScoreGAN 展现出更优的稳定性和可扩展性，即使将训练数据量减少到 400 个样本，性能波动也极小。
• 跨数据集评估显示，ScoreGAN 的性能保持一致且稳健，尤其在 TripAdvisor 上，随着训练数据增多，性能进一步提升。
• Yelp 上的 AUC 得分为 88.78%，显著优于 FakeGAN 及其他基线方法（如 NetSpam、Li et al. 和 Shaalan et al.）。
• ScoreGAN 在数据不平衡方面表现出更强的鲁棒性，尤其在 Yelp 上（真实评论远多于欺诈评论），这得益于有效的评分感知数据增强。