[论文解读] Quantitative Analysis of AI-Generated Texts in Academic Research: A Study of AI Presence in Arxiv Submissions using AI Detection Tool

Arslan Akram|arXiv (Cornell University)|Feb 9, 2024

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

该论文基于物理学、数学和计算机科学的 arXiv 提交数据集，并评估一种 AI 检测方法，报告检测器的准确率为 98%。

ABSTRACT

Many people are interested in ChatGPT since it has become a prominent AIGC model that provides high-quality responses in various contexts, such as software development and maintenance. Misuse of ChatGPT might cause significant issues, particularly in public safety and education, despite its immense potential. The majority of researchers choose to publish their work on Arxiv. The effectiveness and originality of future work depend on the ability to detect AI components in such contributions. To address this need, this study will analyze a method that can see purposely manufactured content that academic organizations use to post on Arxiv. For this study, a dataset was created using physics, mathematics, and computer science articles. Using the newly built dataset, the following step is to put originality.ai through its paces. The statistical analysis shows that Originality.ai is very accurate, with a rate of 98%.

研究动机与目标

• 激励需要在学术提交中检测 AI 生成的部分，以确保原创性和学术诚信。
• 创建跨物理、数学和计算机科学的 arXiv 文章数据集，以测试检测方法。
• 在构建的数据集上评估 AI 检测方法的有效性。
• 评估检测工具在识别 AI 生成内容方面的准确性和可靠性。

提出的方法

• 构建来自物理、数学和计算机科学的 arXiv 论文数据集。
• 通过 HTTP URL 管道将新构建的 AI 检测方法应用于数据集。
• 进行统计分析以评估检测器的准确性。
• 报告结果的准确性指标和定性观察。

实验结果

研究问题

• RQ1 所提出的 AI 检测方法能否可靠地识别 arXiv 提交中的 AI 生成内容？
• RQ2 检测器在不同学科（物理、数学、计算机科学）上的表现如何？
• RQ3 在构建的数据集上，检测工具的整体准确率是多少？
• RQ4 检测方法的局限性和潜在的误差来源是什么？

主要发现

• 本研究使用来自物理、数学和计算机科学文章的数据集。
• 通过 HTTP URL 将 AI 检检测管道应用于 arXiv 提交进行了测试。
• 统计分析表明检测器在该数据集上达到较高的准确性。
• 该方法报告的准确率为 98%。
• 论文包含 6 张图和 1 张表来说明结果。