[论文解读] SOGPTSpotter: Detecting ChatGPT-Generated Answers on Stack Overflow

Suyu Ma, Chunyang Chen+2 more|arXiv (Cornell University)|Feb 4, 2026

Expert finding and Q&A systems被引用 0

一句话总结

SOGPTSpotter 使用基于 BigBird 的 Siamese 网络并配合三元损失来检测 ChatGPT 生成的 Stack Overflow 回答，优于基线并在真实世界案例研究中得到验证。

ABSTRACT

Stack Overflow is a popular Q&A platform where users ask technical questions and receive answers from a community of experts. Recently, there has been a significant increase in the number of answers generated by ChatGPT, which can lead to incorrect and unreliable information being posted on the site. While Stack Overflow has banned such AI-generated content, detecting whether a post is ChatGPT-generated remains a challenging task. We introduce a novel approach, SOGPTSpotter, that employs Siamese Neural Networks, leveraging the BigBird model and the Triplet loss, to detect ChatGPT-generated answers on Stack Overflow. We use triplets of human answers, reference answers, and ChatGPT answers. Our empirical evaluation reveals that our approach outperforms well-established baselines like GPTZero, DetectGPT, GLTR, BERT, RoBERTa, and GPT-2 in identifying ChatGPT-synthesized Stack Overflow responses. We also conducted an ablation study to show the effectiveness of our model. Additional experiments were conducted to assess various factors, including the impact of text length, the model's robustness against adversarial attacks, and its generalization capabilities across different domains and large language models. We also conducted a real-world case study on Stack Overflow. Using our tool's recommendations, Stack Overflow moderators were able to identify and take down ChatGPT-suspected generated answers, demonstrating the practical applicability and effectiveness of our approach.

研究动机与目标

• 在 AI 生成内容背景下，推动确保 Stack Overflow 的质量与信任的需求。
• 开发一种检测方法，利用问答结构和长文本处理能力来区分人类与 AI 的回答。
• 创建一个多样化的高质量 Stack Overflow 问答数据集以及 ChatGPT 生成的参考资料用于训练。
• 在基线方法对比下评估该方法的鲁棒性、泛化能力和真实世界适用性。

提出的方法

• 提出 SOGPTSpotter，一种基于 BigBird 的 Siamese 网络，在三元组（参考、人工、ChatGPT）答案上进行三元损失训练。
• 使用 BigBird 高效表示长文本 Stack Overflow 回答以处理长序列。
• 通过计算参考答案与输入答案嵌入的余弦相似度来分类是否由 ChatGPT 生成，阈值为 0.5。
• 构建包含高声誉、高投票量问题及被采纳答案的 6000 条 Stack Overflow 三元组数据集，以及 ChatGPT 参考答案和 ChatGPT 生成的答案。
• 使用提示设计以非人类特征生成参考答案以捕捉 AI 类特征；通过变换提示和长度生成多样化的 ChatGPT 回答。
• 进行消融研究、长度变化分析、对抗鲁棒性检查，以及跨领域/跨大模型的泛化评估。

实验结果

研究问题

• RQ1 RQ1：相比基线和消融研究，SOGPTSpotter 的表现如何？
• RQ2 RQ2：输入文本长度如何影响检测性能？
• RQ3 RQ3：SOGPTSpotter 对对抗攻击的鲁棒性如何？
• RQ4 RQ4：SOGPTSpotter 在跨领域和不同大模型之间的泛化能力如何？
• RQ5 RQ5：SOGPTSpotter 在实际 Stack Overflow 环境中的有效性如何？

主要发现

• SOGPTSpotter 在准确性、F1 分数和精确度方面超过基线（GPTZero、DetectGPT、GLTR、BERT、RoBERTa、GPT-2）。
• 模型的总体准确率达到 97.67%。
• 研究包括消融分析、文本长度影响评估、对抗鲁棒性测试，以及跨领域/LLM 泛化实验。
• 一个真实世界的 Stack Overflow 案例研究显示，版主已删除 47 条被 SOGPTSpotter 标记为可能由 ChatGPT 生成的帖子。
• 数据集包含 6000 条 Stack Overflow 三元组（参考、人工、ChatGPT），并采用标准指标（准确率、精确率、召回率、F1）进行评估。
• 该方法通过三元组损失结合余弦距离来学习区分相对于参考 AI 回答的内容是否为 AI 生成。