[论文解读] SynSciPass: detecting appropriate uses of scientific text generation

Domenic Rosati|arXiv (Cornell University)|Sep 7, 2022

Topic Modeling被引用 6

一句话总结

本文提出了 SynSciPass，一个用于检测科学写作中使用的文本生成工具类型（如翻译、重述或完整生成）的合成数据集，而非依赖于二元的人类与机器文本分类。在该数据集上训练的模型在领域分布变化下表现出更强的鲁棒性，并能区分AI文本生成的合理与不合理使用，但当前检测器在真实的科学出版场景中仍不可靠。

ABSTRACT

Approaches to machine generated text detection tend to focus on binary classification of human versus machine written text. In the scientific domain where publishers might use these models to examine manuscripts under submission, misclassification has the potential to cause harm to authors. Additionally, authors may appropriately use text generation models such as with the use of assistive technologies like translation tools. In this setting, a binary classification scheme might be used to flag appropriate uses of assistive text generation technology as simply machine generated which is a cause of concern. In our work, we simulate this scenario by presenting a state-of-the-art detector trained on the DAGPap22 with machine translated passages from Scielo and find that the model performs at random. Given this finding, we develop a framework for dataset development that provides a nuanced approach to detecting machine generated text by having labels for the type of technology used such as for translation or paraphrase resulting in the construction of SynSciPass. By training the same model that performed well on DAGPap22 on SynSciPass, we show that not only is the model more robust to domain shifts but also is able to uncover the type of technology used for machine generated text. Despite this, we conclude that current datasets are neither comprehensive nor realistic enough to understand how these models would perform in the wild where manuscript submissions can come from many unknown or novel distributions, how they would perform on scientific full-texts rather than small passages, and what might happen when there is a mix of appropriate and inappropriate uses of natural language generation.

研究动机与目标

• 为解决将合理生成的科学文本错误分类为AI生成所造成的危害，特别是在同行评审中。
• 开发一种更细致的检测框架，以识别所使用的文本生成工具类型，例如翻译或重述。
• 创建一个真实、全面的数据集（SynSciPass），涵盖跨多个领域的多样化科学文本生成场景。
• 评估在 SynSciPass 上训练的模型是否能更好地泛化到未见的分布，并有效检测工具类型。
• 倡导开发伦理、鲁棒且可解释的检测系统，以考虑科学出版中辅助性AI的使用。

提出的方法

• 提出一个分层的文本生成工具分类体系，包括翻译、重述和新型生成，并为每类提供标签。
• 通过从多个科学领域中多样化的预训练模型中采样合成科学段落，构建 SynSciPass。
• 使用数据增强技术模拟领域分布变化，以提升模型泛化能力。
• 微调最先进的模型（如 DeBERTa v3）在 SynSciPass 上，以检测不仅是否为机器生成，还包括具体使用的工具类型。
• 在 DAGPap22 和 SynSciPass 上训练并评估基线模型（如 SciBERT、TF-IDF），以比较在分布变化下的性能表现。
• 将检测任务从二元分类重构为生成类型多分类，以支持更公平的编辑决策。

实验结果

研究问题

• RQ1 在 SynSciPass 上训练的模型是否能比二元检测更准确地识别所使用的文本生成工具类型（如翻译、重述、生成）？
• RQ2 在领域分布变化下，模型在 SynSciPass 上的表现与在 DAGPap22 上的表现相比如何？
• RQ3 在 SynSciPass 上进行训练在多大程度上提升了对未见分布的鲁棒性？
• RQ4 检测框架能否区分科学稿件中AI生成的合理与不合理使用？
• RQ5 当应用于包含混合生成内容的真实、完整科学稿件时，当前检测器存在哪些局限性？

主要发现

• 在 DAGPap22 上微调的 DeBERTa v3 模型在 Scielo 的机器翻译段落上仅获得 31.4 的 F1 分数，表明在真实条件下表现接近随机。
• 在 SynSciPass 上，同一模型在检测生成工具类型方面达到了 98.6 的 F1 分数，显示出在细粒度分类上的显著提升。
• 在 SynSciPass 上微调的模型相比在 DAGPap22 上训练的模型，表现出更强的领域分布变化鲁棒性。
• 尽管有所改进，模型在未见分布或完整科学稿件上的泛化能力仍不足，表明当前检测器尚未准备好投入生产使用。
• 基线模型如 TF-IDF 和 SciBERT 在 SynSciPass 上表现有限，凸显了对更复杂架构的需求。
• 本研究结论认为，当前的数据集和检测器在全面性和真实性方面仍显不足，无法支持科学出版中的安全部署。