CopyLeaks est un outil populaire pour repérer les contenus rédigés par l’IA. Mais comment gère-t-il le code ? Explorons la question.
Avec la généralisation des grands modèles de langage dans l’enseignement, les enseignants doivent s’adapter en utilisant des outils de détection de l’IA. Cependant, la plupart des détecteurs d’IA se concentrent sur les textes. Or, nous savons que les travaux peuvent prendre différentes formes.
Prenons le code, par exemple.
Pas d’inquiétude : CopyLeaks propose une solution aux enseignants avec CodeLeaks. Mais quelle est sa précision ? Cet article va l’examiner, expliquer comment utiliser CodeLeaks et partager mon avis à son sujet. Poursuivez votre lecture !
Qu’est-ce que CopyLeaks ?
CopyLeaks a été conçu pour limiter les abus liés à l’IA et le plagiat. Il s’agit d’un ensemble d’outils qui utilise des algorithmes de pointe pour analyser des textes, des documents et même du code.
Fidèle à sa devise « Renforcer l’originalité et inspirer l’authenticité », CopyLeaks se distingue par son détecteur de plagiat et son détecteur de contenu généré par l’IA. Lorsque nous avons testé son détecteur de contenu généré par l’IA avec nos données, il a affiché un taux de précision de 75% pour les vrais positifs, surpassant des outils comme Content at Scale et Originality. Pour les faux positifs, il a obtenu un score de 80%, le deuxième meilleur parmi huit détecteurs.
Qu’est-ce que CodeLeaks ?
CodeLeaks est un outil de CopyLeaks qui détecte le code copié, qu’il provienne de bibliothèques existantes ou d’un modèle de langage. Chaque analyse de code génère un rapport détaillé indiquant les sections dupliquées, leurs sources et le pourcentage de plagiat. Nous approfondirons ce sujet prochainement.
Comment détecter du code généré par l’IA avec CodeLeaks ?
Étape n° 1 : créer un compte
Pour commencer à repérer du code avec CodeLeaks, vous devez d’abord créer un compte. Accédez à leur tableau de bord et cliquez sur le bouton « Login » ou « Create Account », situé dans le coin supérieur gauche de l’écran.
Étape n° 2 : importer votre code
Vous devriez maintenant voir l’intégralité de leur tableau de bord. Pour vérifier, cherchez les six options au centre de votre écran. Sélectionnez ensuite l’option « Code ».
Une fois connecté, faites simplement glisser un fichier de code dans le tableau de bord. Il ne vous reste plus qu’à effectuer la dernière étape.
Étape n° 3 : obtenir un rapport détaillé
Avant de poursuivre, je vais créer un script Python avec ChatGPT et l’enregistrer dans un fichier .py. J’ai demandé à ChatGPT d’écrire du code pour Fizzbuzz, un célèbre défi de Leetcode.
Voici la consigne : vous devez afficher les nombres de 1 à 100. Si un nombre est un multiple de 3, affichez « FIZZ » ; s’il est un multiple de 5, affichez « BUZZ ». Pour les nombres qui sont à la fois des multiples de 3 et de 5, affichez « FIZZBUZZ ».
Voici la solution fournie par ChatGPT :
Conservons-la dans un fichier .py, puis importons-le dans CodeLeaks. Voici ce que l’outil affiche :
L’analyse du code par l’IA est différente de la détection du plagiat de code. Elle vous indique principalement une chose à propos de l’entrée : la probabilité qu’elle ait été créée par une IA, exprimée en pourcentage.
Quelle est la précision de CodeLeaks ?
Maintenant que vous comprenez le fonctionnement de CodeLeaks, vérifions sa précision pour repérer le code généré par l’IA. Le test comporte deux parties : les vrais positifs et les faux positifs. La première porte sur le code généré par l’IA, tandis que la seconde vérifie si CodeLeaks sait reconnaître le code écrit par un humain. Commençons…
Tests de vrais positifs
Tests de faux positifs
Score total et avis sur la précision de CodeLeaks
J’ai été surpris par la précision de CodeLeaks. L’outil a correctement identifié les exemples comme étant générés par une IA ou par un humain 7 fois sur 8, ce qui est impressionnant. Même avec une erreur, il a obtenu de bons résultats. L’outil était très sûr de ses conclusions, attribuant une probabilité de génération par l’IA de 0 % ou de 100 %, et ses résultats étaient généralement corrects.
Autre point notable : CopyLeaks semble mieux détecter l’IA dans le code que dans les textes ordinaires. Je pense que les commentaires jouent un rôle important à cet égard. Les codes générés par l’IA comme le test mal classé contenaient de nombreux commentaires et annotations.
Notre verdict
Dans le monde actuel, la détection de l’IA fait l’objet d’un examen attentif, mais CopyLeaks ne déçoit pas. Nous savons qu’il est efficace pour repérer les textes générés par l’IA, mais qui aurait imaginé qu’il excellerait aussi dans la détection du code généré par l’IA ?
Il est encourageant de voir la détection de l’IA progresser, qu’il s’agisse de textes ou de code. OpenAI a été critiqué pour avoir affirmé que la détection n’était pas fiable, alors qu’il avait raison. Pourtant, les outils de détection de l’IA progressent parallèlement aux grands modèles de langage, et CopyLeaks pourrait être à l’avant-garde de cette évolution.
CopyLeaks vous intrigue ? Découvrez-en davantage dans nos articles, comme celui-ci. Bonne chance !
