CopyLeaks 是一款广受欢迎的 AI 写作内容检测工具。但它如何处理代码?让我们一探究竟。

随着大语言模型在教育领域广泛普及,教师需要通过使用 AI 检测工具来应对这一变化。不过,大多数 AI 检测器都专注于文本,而我们知道,作业的形式各不相同。
以编程为例。
别担心——CopyLeaks 通过 CodeLeaks 为教师提供了解决方案。但它到底有多准确?本文将对此展开探讨,说明如何使用 CodeLeaks,并分享我对它的看法。继续阅读吧!
什么是 CopyLeaks?
CopyLeaks 旨在遏制 AI 滥用和抄袭。它是一套采用尖端算法的工具,可分析文本、文档,甚至代码。

CopyLeaks 秉持“赋能原创,激发真实”的理念,凭借其抄袭检测器和 AI 内容检测器脱颖而出。我们使用自己的数据测试其 AI 内容检测器时,发现其真阳性准确率达到 75%,表现优于 Content at Scale 和 Originality 等工具。在假阳性方面,其得分为 80%,在 8 款检测器中排名第二。
什么是 CodeLeaks?
CodeLeaks 是 CopyLeaks 中的一款工具,可以检测抄袭代码,无论代码来自现有代码库还是语言模型。每次代码检测都会生成一份详细报告,展示重复部分、来源以及重复率。稍后我们会对此进行进一步介绍。

如何使用 CodeLeaks 检测 AI 代码?
第 1 步:创建账户
要开始使用 CodeLeaks 检测代码,首先需要注册账户。进入其控制面板,然后点击屏幕左上角的“Login”或“Create Account”按钮。

第 2 步:上传代码
现在你应该能完整看到他们的控制面板了。要进行确认,请查看屏幕中央的 6 个选项。接下来,选择“代码”选项。

进入后,只需将代码文件拖到控制面板中。现在,只需完成最后一步。
第 3 步:获取详细报告
在继续之前,我会使用 ChatGPT 编写一个 Python 脚本,并将其保存为 .py 文件。我让 ChatGPT 编写 Fizzbuzz 代码,这是 Leetcode 上一道知名的编程挑战题。
任务如下:打印 1 到 100 的数字。如果某个数字是 3 的倍数,则打印“FIZZ”;如果是 5 的倍数,则打印“BUZZ”。如果某个数字同时是 3 和 5 的倍数,则打印“FIZZBUZZ”。
以下是 ChatGPT 提供的解决方案:

我们将其保存为 .py 文件,然后上传到 CodeLeaks。以下是它显示的结果:

AI 代码分析不同于代码抄袭检测。它主要告诉你输入内容的一项信息:该内容由 AI 创建的可能性有多大,并以百分比表示。
CodeLeaks 的准确率有多高?
现在你已经了解了 CodeLeaks,接下来让我们检验它识别 AI 代码的准确率。测试分为两部分:真阳性和假阳性。第一部分测试 AI 代码,第二部分检验 CodeLeaks 能否识别人类编写的代码。那么,我们开始吧……
真阳性测试















假阳性测试






CodeLeaks 的总得分及准确率评价

CodeLeaks 最终表现出的准确度让我很惊讶。它有 8 次中的 7 次正确判断出样本数据是由 AI 还是人类编写的,表现非常出色。即使有一次判断错误,它的整体表现仍然很好。这款工具对结果非常确定,给出的 AI 可能性评分基本都是 0% 或 100%,而且大多数时候判断都是正确的。
另一个值得注意的地方是,CopyLeaks 似乎比检测普通文本更擅长识别代码中的 AI 痕迹。我认为注释在其中发挥了重要作用。AI 生成的代码以及那次误判的测试代码中,都包含大量注释和说明。
总结
在如今这个时代,AI 检测正受到严格审视,但 CopyLeaks 并没有令人失望。我们知道它擅长检测 AI 生成的文本,但谁能想到它在检测 AI 代码方面也同样出色呢?
无论是针对文本还是代码,AI 检测技术都在不断进步,这令人充满期待。OpenAI 曾因声称检测并不可靠而受到批评,尽管这一说法其实是正确的。然而,AI 检测工具正与大语言模型同步发展,而 CopyLeaks 也许正在引领这场变革。
对 CopyLeaks 感兴趣吗?欢迎在我们的其他文章中进一步了解,例如这篇文章。祝你好运!


