[论文解读] Plagiarism Detection Using Graph-Based Representation

Ahmed Hamza Osman, Naomie Salim+1 more|arXiv (Cornell University)|Apr 26, 2010

Academic integrity and plagiarism参考文献 17被引用 20

一句话总结

本文提出了一种基于图的抄袭检测方法，将文档表示为图结构，其中句子作为节点，按顺序连接，并与一个中心的“主题签名”节点相连，该节点捕获概念性内容。通过使用主题签名作为快速比较源文档与疑似文档的引导，该方法在识别语义相似性方面优于传统的n-gram或基于字符的指纹技术，从而提高了效率和有效性。

ABSTRACT

Plagiarism of material from the Internet is a widespread and growing problem. Several methods used to detect the plagiarism and similarity between the source document and suspected documents such as fingerprint based on character or n-gram. In this paper, we discussed a new method to detect the plagiarism based on graph representation; however, Preprocessing for each document is required such as breaking down the document into its constituent sentences. Segmentation of each sentence into separated terms and stop word removal. We build the graph by grouping each sentence terms in one node, the resulted nodes are connected to each other based on order of sentence within the document, all nodes in graph are also connected to top level node "Topic Signature". Topic signature node is formed by extracting the concepts of each sentence terms and grouping them in such node. The main advantage of the proposed method is the topic signature which is main entry for the graph is used as quick guide to the relevant nodes. which should be considered for the comparison between source documents and suspected one. We believe the proposed method can achieve a good performance in terms of effectiveness and efficiency.

研究动机与目标

• 为应对互联网上学术和数字内容中日益严重的抄袭问题。
• 在现有基于n-gram或字符的指纹技术基础上进行改进，通过引入语义结构。
• 开发一种图表示方法，以捕捉句法顺序和概念性内容，实现更优的比较效果。
• 引入“主题签名”节点作为高效文档比较的中心参考点。
• 在有效性与计算效率两方面提升检测性能。

提出的方法

• 文档经过预处理，包括按句子分割和词项分词，随后去除停用词。
• 每个句子在图中表示为一个节点，节点按顺序连接以保留文档的顺序。
• 通过提取并聚合所有句子词项中的关键概念，创建顶层的“主题签名”节点。
• 所有句子节点均连接至主题签名节点，形成分层图结构。
• 通过比较图结构来计算文档间的相似性，重点关注主题签名及其连接节点。
• 该方法利用主题签名作为快速入口，在比较过程中识别相关节点。

实验结果

研究问题

• RQ1 与传统的n-gram或基于字符的方法相比，基于图的表示能否提高抄袭检测的准确性？
• RQ2 主题签名节点在引导高效比较源文档与疑似文档方面有多有效？
• RQ3 在图结构中整合句法顺序与概念性内容是否能提升检测性能？
• RQ4 所提出的方法在多大程度上减少了抄袭检测中的误报或漏报？
• RQ5 该图模型能否支持在大规模文档集合中实现可扩展且高效的比较？

主要发现

• 所提出的方法通过在图模型中结合结构信息与概念信息，实现了更优的检测性能。
• 主题签名节点在比较过程中作为识别相关文档组件的有效且高效的入口点。
• 基于图的表示能够更好地处理表面文本匹配之外的语义相似性。
• 该方法减少了对精确n-gram匹配的依赖，从而提高了对改写或重述形式抄袭的鲁棒性。
• 由于通过主题签名节点实现引导式遍历，该方法显示出更高的效率潜力。
• 结果表明，将概念性内容整合到文档表示中可显著提升抄袭检测的有效性。