[论文解读] The Best Answers? Think Twice: Online Detection of Commercial Campaigns in the CQA Forums

Cheng Chen, Kui Wu+2 more|arXiv (Cornell University)|Aug 7, 2012

Expert finding and Q&A systems参考文献 13被引用 7

一句话总结

本文提出一种自适应、实时的系统，通过结合答案内容的语义分析、用户声誉追踪以及写作模板检测，检测社区问答（CQA）论坛中的商业推广活动。该方法通过动态整合新证据，相较于非自适应模型，实现了更高的精确率和召回率，有效识别出伪装成高质量回答以隐蔽方式推广产品的付费推广者。

ABSTRACT

In an emerging trend, more and more Internet users search for information from Community Question and Answer (CQA) websites, as interactive communication in such websites provides users with a rare feeling of trust. More often than not, end users look for instant help when they browse the CQA websites for the best answers. Hence, it is imperative that they should be warned of any potential commercial campaigns hidden behind the answers. However, existing research focuses more on the quality of answers and does not meet the above need. In this paper, we develop a system that automatically analyzes the hidden patterns of commercial spam and raises alarms instantaneously to end users whenever a potential commercial campaign is detected. Our detection method integrates semantic analysis and posters' track records and utilizes the special features of CQA websites largely different from those in other types of forums such as microblogs or news reports. Our system is adaptive and accommodates new evidence uncovered by the detection algorithms over time. Validated with real-world trace data from a popular Chinese CQA website over a period of three months, our system shows great potential towards adaptive online detection of CQA spams.

研究动机与目标

• 为应对CQA论坛中日益严重的隐藏商业推广活动问题，即付费推广者生成看似有帮助的回答以推广产品。
• 克服现有方法仅依赖文本相似度的局限性，这些方法无法检测出伪装成高质量回答的赞助内容。
• 开发一种在线自适应检测系统，在检测到潜在商业推广活动时，实时向终端用户发出警报。
• 识别CQA论坛中付费推广者与微博或新闻网站中用户行为模式的差异，从而实现更精准的检测。
• 将语义分析、写作模板和用户声誉历史整合到统一的可信度评分模型中，用于最佳答案的判定。

提出的方法

• 系统使用语义分析检测答案中细微的推广内容，超越表面的文本相似度。
• 结合用户声誉历史和活动模式，包括发帖行为的一致性以及点赞或点踩的记录。
• 提取写作模板——常用于赞助内容的重复性表达模式——作为区分性特征。
• 采用机器学习分类器，基于语义、文本和用户行为特征的组合，为答案分配可信度评分。
• 该模型具备自适应能力，可随时间动态更新并整合新的检测结果证据，从而提升长期准确性。
• 系统实时运行，实时分析用户发布的内容，当检测到的推广指标超过阈值时触发警报。

实验结果

研究问题

• RQ1 如何检测CQA论坛中那些被精心设计为看似有帮助，但实际暗中推广产品的商业活动？
• RQ2 在CQA环境中，付费推广者与真实贡献者的行为和语言特征有何区别？
• RQ3 为何基于文本相似度的传统方法无法检测此类商业垃圾信息？哪些替代特征可提升检测效果？
• RQ4 自适应在线检测系统能否通过学习新数据，在长期运行中保持高精确率和高召回率？
• RQ5 写作模板和用户声誉轨迹等特征如何有助于识别有组织的商业推广活动？

主要发现

• 所提出的自适应检测系统显著降低了固定非自适应模型的漏报率，后者虽精确率高，但召回率低，存在严重漏检问题。
• 将语义分析与用户声誉及写作模板检测相结合，构建的分类器比仅依赖文本相似度的方法更具鲁棒性。
• 系统成功识别出那些内容长、相关性强但暗含产品推广的问答，这些内容在传统方法下通常被误判为高质量内容。
• 在某中文CQA平台开展为期三个月的真实世界评估，证实了该系统在检测有组织商业推广活动方面的有效性。
• 模型的自适应特性使其能通过整合新的检测证据持续优化，克服了静态训练数据的局限性。
• 性能指标显示，尽管固定模型具有高精确率，但其低召回率表明存在严重漏检倾向，而自适应模型有效缓解了该问题。