[论文解读] Online Deception Detection Refueled by Real World Data Collection

Wenlin Yao, Zeyu Dai+2 more|arXiv (Cornell University)|Jul 28, 2017

Spam and Phishing Detection参考文献 23被引用 5

一句话总结

本文提出了一种可扩展的方法，利用社交网络分析识别协调的评论活动，以收集大规模、真实世界中的欺骗性在线评论。通过利用评论者-评论者互动图谱，作者在30多个产品领域中收集了超过10,000条欺骗性评论，表明当在多样化数据上进行训练时，通用语言特征——尤其是广告用语和写作复杂度——能显著提升跨领域欺骗检测性能，F1分数从30%提升至80%，具体取决于评论者类型的稳定性。

ABSTRACT

The lack of large realistic datasets presents a bottleneck in online deception detection studies. In this paper, we apply a data collection method based on social network analysis to quickly identify high-quality deceptive and truthful online reviews from Amazon. The dataset contains more than 10,000 deceptive reviews and is diverse in product domains and reviewers. Using this dataset, we explore effective general features for online deception detection that perform well across domains. We demonstrate that with generalized features - advertising speak and writing complexity scores - deception detection performance can be further improved by adding additional deceptive reviews from assorted domains in training. Finally, reviewer level evaluation gives an interesting insight into different deceptive reviewers' writing styles.

研究动机与目标

• 克服在线欺骗检测研究中因数据集小且人为导致的瓶颈。
• 开发一种可扩展的真实世界数据收集方法，涵盖多样化的领域和评论者。
• 识别在多个产品领域中均有效的可泛化语言特征。
• 评估评论者特定写作风格对欺骗检测性能的影响。
• 证明即使使用通用特征，通过多样化领域增加训练数据也能提升检测性能。

提出的方法

• 应用社交网络分析于评论者-评论者图谱，以检测协调的评论活动。
• 利用检测到的网络模式识别高置信度的欺骗性评论者及其相关评论。
• 构建一个包含超过10,000条欺骗性评论的数据集，涵盖1,540名评论者和30多个产品领域。
• 采用通用语言特征：广告用语和写作复杂度评分（例如，Flesch-Kincaid、音节数）。
• 使用跨领域训练和评论者级别评估的方法训练并评估欺骗检测分类器。
• 生成学习曲线，以评估多样化领域中训练数据增加带来的性能提升。

实验结果

研究问题

• RQ1 基于社交网络分析的可扩展数据收集方法能否生成大规模、真实的欺骗性在线评论数据集？
• RQ2 在多样化产品领域中，哪些通用语言特征在欺骗检测中表现最佳？
• RQ3 从多样化领域增加欺骗性训练数据量，如何影响检测性能？
• RQ4 评论者特定的写作风格在多大程度上影响欺骗检测模型的泛化能力？
• RQ5 在一种类型的欺骗性评论者上训练的模型，是否会对另一类评论者泛化能力差，这种差异如何影响性能？

主要发现

• 所提出的方法成功从30多个产品领域中的1,540名评论者处收集了超过10,000条欺骗性评论，数据量相比以往数据集提升了两个数量级。
• 通用特征——尤其是广告用语和写作复杂度——显著提升了跨领域的欺骗检测性能。
• 随着训练数据量的增加，性能持续提升：当模型在相同评论者类型上进行训练和测试时，F1分数从30%提升至80%；但若在一种类型上训练而在另一类型上测试，则性能下降。
• 学习曲线显示，随着多样化训练数据量的增加，性能持续提升，表明具有可扩展性和泛化优势。
• 评论者级别分析揭示了两种截然不同的欺骗性写作风格：一种使用简短、促销性的语言；另一种则使用更长、情绪化强的句子，并包含个人引用。
• 本研究证实，大规模真实世界数据对于揭示欺骗检测中的通用规律至关重要，尤其是在建模写作风格而非内容时。