[论文解读] Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education

Zijie Zeng, Lele Sha+4 more|arXiv (Cornell University)|Jul 23, 2023

Topic Modeling被引用 4

一句话总结

本文提出TriBERT，一种用于自动检测人机协作混合论文中内容边界的两步法。该方法通过聚类句子嵌入并检测相邻原型之间的最大不相似性，识别人类写作与AI生成内容之间的过渡。当使用较大原型尺寸处理单边界文本时，该方法在域内评估中相比最佳基线提升达22%，在域外评估中提升18%。

ABSTRACT

The recent large language models (LLMs), e.g., ChatGPT, have been able to generate human-like and fluent responses when provided with specific instructions. While admitting the convenience brought by technological advancement, educators also have concerns that students might leverage LLMs to complete their writing assignments and pass them off as their original work. Although many AI content detection studies have been conducted as a result of such concerns, most of these prior studies modeled AI content detection as a classification problem, assuming that a text is either entirely human-written or entirely AI-generated. In this study, we investigated AI content detection in a rarely explored yet realistic setting where the text to be detected is collaboratively written by human and generative LLMs (i.e., hybrid text). We first formalized the detection task as identifying the transition points between human-written content and AI-generated content from a given hybrid text (boundary detection). Then we proposed a two-step approach where we (1) separated AI-generated content from human-written content during the encoder training process; and (2) calculated the distances between every two adjacent prototypes and assumed that the boundaries exist between the two adjacent prototypes that have the furthest distance from each other. Through extensive experiments, we observed the following main findings: (1) the proposed approach consistently outperformed the baseline methods across different experiment settings; (2) the encoder training process can significantly boost the performance of the proposed approach; (3) when detecting boundaries for single-boundary hybrid essays, the proposed approach could be enhanced by adopting a relatively large prototype size, leading to a 22% improvement in the In-Domain evaluation and an 18% improvement in the Out-of-Domain evaluation.

研究动机与目标

• 为解决当前在人机协作混合文本中AI内容检测的空白，这些文本由人类和大型语言模型（LLMs）协作撰写，而非假设文本完全由人类或AI生成。
• 将AI内容检测问题形式化为边界检测——识别混合论文中人类写作与AI生成段落之间的转换点。
• 开发一种方法，实现对AI生成内容的精确定位，支持教育工作者识别可疑部分以提供反馈或修改建议。
• 研究原型大小和边界数量对检测性能的影响，为实际部署提供实用指导。

提出的方法

• 该方法通过从原始学生论文中随机删除句子，并使用ChatGPT替换为LLM生成内容，构建混合论文数据集。
• 提出两步法：首先，在训练过程中利用对比学习，微调TriBERT编码器以分离AI生成与人类写作内容。
• 根据连续的句子序列将混合文本中的句子分组为原型，每个原型表示为其组成句子的平均嵌入。
• 计算嵌入空间中相邻原型之间的距离，并将不相似性最大的原型对识别为边界。
• 该方法根据边界数量动态调整原型大小：对于边界较少的文本（如单边界），较大原型尺寸更优；对于多边界文本，较小原型尺寸更佳。
• 在域内和域外设置下评估该方法，与微调后的BERT及商用检测器（GPTZero）进行性能比较。

实验结果

研究问题

• RQ1 如何在混合论文中精确检测人类写作与AI生成内容之间的边界，而非将整篇文本简单分类为人类或AI生成？
• RQ2 原型大小对边界检测性能有何影响，特别是在边界数量变化时？
• RQ3 所提出方法在域内和域外设置下，与现有基线（包括微调BERT和商用检测器如GPTZero）相比表现如何？
• RQ4 在编码器学习过程中分离AI与人类内容的训练过程，是否能显著提升检测性能？
• RQ5 在何种条件下，使用更大的原型尺寸对混合文本中的边界检测具有优势？

主要发现

• 所提出的TriBERT方法在所有实验设置中均持续优于基线方法，包括微调BERT和商用GPTZero检测器。
• 在微调过程中分离AI与人类内容的编码器训练过程显著提升了检测性能，表明表示学习的重要性。
• 对于单边界混合论文，使用较大原型尺寸（p=4）在域内评估中相比最佳基线提升22%，在域外评估中提升18%。
• 当边界数量增加时（如存在多个转换点），较小的原型尺寸更为有效，表明应根据混合文本的复杂性调整原型尺寸。
• 该方法成功识别出商用检测器（如GPTZero）未能检测到的过渡点，即使整体文本被分类为低置信度（如51%为人类写作）。
• 结果表明，TriBERT可作为教育工作者检测和定位学生论文中AI生成内容的可靠补充工具，支持针对性反馈或修改。