[论文解读] Temporal Opinion Spam Detection by Multivariate Indicative Signals

Junting Ye, Santhosh Kumar+1 more|arXiv (Cornell University)|Mar 7, 2016

Spam and Phishing Detection参考文献 12被引用 15

一句话总结

本文提出了一种实时、时序的方法，通过监控时间序列中的多变量指示信号（如评论数量、评分变化和评论者行为）来检测意见垃圾信息。通过检测这些信号中的异常突增，并利用它们来表征垃圾信息活动，该方法在识别多样化垃圾信息模式（包括协同攻击和伪装评论）方面表现出高效率，优于静态离线方法。

ABSTRACT

Online consumer reviews reflect the testimonials of real people, unlike advertisements. As such, they have critical impact on potential consumers, and indirectly on businesses. According to a Harvard study (Luca 2011), +1 rise in star-rating increases revenue by 5-9%. Problematically, such financial incentives have created a market for spammers to fabricate reviews, to unjustly promote or demote businesses, activities known as opinion spam (Jindal and Liu 2008). A vast majority of existing work on this problem have formulations based on static review data, with respective techniques operating in an offline fashion. Spam campaigns, however, are intended to make most impact during their course. Abnormal events triggered by spammers' activities could be masked in the load of future events, which static analysis would fail to identify. In this work, we approach the opinion spam problem with a temporal formulation. Specifically, we monitor a list of carefully selected indicative signals of opinion spam over time and design efficient techniques to both detect and characterize abnormal events in real-time. Experiments on datasets from two different review sites show that our approach is fast, effective, and practical to be deployed in real-world systems.

研究动机与目标

• 解决静态离线意见垃圾信息检测方法的局限性，这些方法无法捕捉与时间相关的垃圾信息活动。
• 检测并表征由协同垃圾信息攻击引发的评论模式中的实时异常。
• 开发一种在线、高效且可推广的方法论，支持对可疑评论行为的自动化检测与人工检查。
• 通过时间信号监控识别并分析多样化的垃圾信息模式，包括伪装评论和多产品攻击。
• 通过排名和突出显示可疑时间点及支持信号，为人工审查员提供描述性、可操作的洞察。

提出的方法

• 该方法为每个产品定义了9种指示信号，包括评论数量、平均评分、单次评论者比例、年轻度评分和评分分布，并随时间追踪这些信号。
• 使用主导信号（如评论数量突然激增）触发异常检测，随后对检测到的报警点周围的支持信号进行聚焦分析。
• 通过时间序列建模对每个信号执行异常检测，识别出与正常模式存在统计显著偏差的异常。
• 该方法采用多信号相关性策略：多个信号同时出现异常可提高垃圾信息检测的置信度，并支持对攻击模式的表征。
• 基于信号中异常的数量和幅度设计一个排序函数，优先对产品进行人工检查。
• 该方法专为在线部署设计，随新评论的到达增量处理数据，确保低延迟检测。

实验结果

研究问题

• RQ1 与静态离线方法相比，实时监控多变量时间信号是否能更有效地检测意见垃圾信息？
• RQ2 如何利用多种指示信号识别并表征评论活动中的异常突增？
• RQ3 该方法能否检测到多样化的垃圾信息模式，包括伪装评论和协同的多产品攻击？
• RQ4 支持信号在多大程度上佐证主导信号中的异常，从而提高检测的可靠性？
• RQ5 该方法在识别明显和隐蔽的垃圾信息活动（如混合评分或非单次评论者）方面有多高效？

主要发现

• 该方法成功检测到第149周在一款鞭炮声应用上发生的重大垃圾信息攻击，表现为评论数量激增4,000+，5星评分显著上升，后经词云和评分分布分析得到确认。
• 在Flipkart案例中，该方法在第35周识别出一起协同垃圾信息攻击，涉及80条混合3–4星评分的评论，伪装以规避传统过滤机制。
• 该方法发现了一组相关产品（直发器、吹风机和剃须刀）在相同时间段内被同一组非单次评论者集体攻击，证实了协同攻击的存在。
• 对于第95周平均评分为4.4分的一本书，该方法在两天内检测到125条5星评论，来自一组共同的非单次评论者，后发现这些评论者与同一作者的其他书籍有关联。
• 该方法在同一产品上检测到评论数量和评分分布的异常，同时年轻度评分和评论者行为等支持信号进一步强化了垃圾信息的怀疑。
• 该方法展示了良好的可推广性，不仅识别出垃圾信息，还识别出如产品在电视上曝光等合法事件，表明其具备区分真实活动与恶意行为的能力。