[论文解读] Plagiarism Detection using ROUGE and WordNet

Chien-Ying Chen, Jen‐Yuan Yeh+1 more|arXiv (Cornell University)|Mar 22, 2010

Topic Modeling参考文献 15被引用 43

一句话总结

本文提出了一种结合 ROUGE 指标（n-gram 共现、跳词法和最长公共子序列）与 WordNet 的抄袭检测系统，用于检测全文抄袭和修改后的内容抄袭。通过利用句法相似性和语义同义性，该方法在检测经过词汇替换或结构变化的改写内容方面表现更优，相较于传统的指纹识别法和词频统计方法，在处理语义变化方面具有更强的检测能力。

ABSTRACT

With the arrival of digital era and Internet, the lack of information control provides an incentive for people to freely use any content available to them. Plagiarism occurs when users fail to credit the original owner for the content referred to, and such behavior leads to violation of intellectual property. Two main approaches to plagiarism detection are fingerprinting and term occurrence; however, one common weakness shared by both approaches, especially fingerprinting, is the incapability to detect modified text plagiarism. This study proposes adoption of ROUGE and WordNet to plagiarism detection. The former includes ngram co-occurrence statistics, skip-bigram, and longest common subsequence (LCS), while the latter acts as a thesaurus and provides semantic information. N-gram co-occurrence statistics can detect verbatim copy and certain sentence modification, skip-bigram and LCS are immune from text modification such as simple addition or deletion of words, and WordNet may handle the problem of word substitution.

研究动机与目标

• 解决现有抄袭检测方法在识别修改或改写文本方面的局限性。
• 克服指纹识别法和词频统计法在检测词汇替换、词序调整或微小结构变化文本时的不足。
• 将 ROUGE 的 n-gram 和子序列匹配技术与 WordNet 的语义同义词典结合，以增强对改写内容的检测能力。
• 提升数字时代抄袭检测的鲁棒性，因为内容常被修改以规避检测。

提出的方法

• 利用 ROUGE 的 n-gram 共现统计量检测全文复制及轻微句子修改。
• 应用跳词法和最长公共子序列（LCS）技术，即使在插入或删除词语的情况下也能识别相似文本。
• 将 WordNet 作为语义同义词典，用于检测通过同义词替换实现的抄袭。
• 通过统一大小写、去除停用词，并生成同义词集合进行比较，处理输入文本。
• 结合基于 ROUGE 的字符串相似度与基于 WordNet 的语义相似度，计算综合抄袭得分。
• 采用混合匹配策略，评估源文档与目标文档之间在词汇和语义层面的相似性。

实验结果

研究问题

• RQ1 ROUGE 指标是否能有效检测因词序插入或删除而发生结构变化的文本抄袭？
• RQ2 集成 WordNet 在检测涉及同义词替换的改写抄袭方面能提升多大程度？
• RQ3 ROUGE 与 WordNet 的结合在检测修改文本方面，相较于传统指纹识别法和词频统计法有何优势？
• RQ4 不同 ROUGE 指标（n-gram、跳词法、LCS）对抄袭检测准确率有何影响？
• RQ5 该方法在检测多种文本类型和改写模式下的抄袭时，其鲁棒性如何？

主要发现

• 将 ROUGE 与 WordNet 结合显著提升了对改写和修改文本的检测能力，优于传统方法。
• ROUGE 中的跳词法和 LCS 在词序变化或少量插入/删除情况下仍能有效识别抄袭。
• WordNet 通过识别同义词替换带来的语义等价性，显著增强了检测能力，即使实际用词不同。
• n-gram 共现统计量能有效检测全文复制及轻微改写。
• 混合方法在检测修改文本方面相比单独使用指纹识别法或词频统计法具有更高的召回率。
• 该系统在检测各种改写模式（包括同义词替换和句子结构调整）下的抄袭时表现出更强的鲁棒性。