CopyLeaks è uno strumento popolare per individuare i contenuti scritti dall’AI. Ma come gestisce il codice? Scopriamolo.
Con la diffusione dei modelli linguistici di grandi dimensioni nel settore dell’istruzione, gli insegnanti devono adattarsi utilizzando strumenti di rilevamento dell’AI. Tuttavia, la maggior parte dei rilevatori di AI si concentra sui testi. Sappiamo che i compiti possono assumere forme diverse.
Prendiamo la programmazione, per esempio.
Nessun problema: CopyLeaks offre agli insegnanti una soluzione con CodeLeaks. Ma quanto è preciso? In questo articolo lo scopriremo, spiegheremo come utilizzare CodeLeaks e condivideremo le nostre considerazioni. Continua a leggere!
Che cos’è CopyLeaks?
CopyLeaks è progettato per contrastare l’uso improprio dell’AI e il plagio. È un insieme di strumenti che utilizza algoritmi all’avanguardia per analizzare testi, documenti e persino codice.
Fedele al motto «Dare forza all’originalità e ispirare l’autenticità», CopyLeaks si distingue per il suo controllo antiplagio e il rilevatore di contenuti generati dall’AI. Quando abbiamo testato il loro rilevatore di contenuti AI con i nostri dati, ha mostrato un tasso di accuratezza del 75% nei veri positivi, superando strumenti come Content at Scale e Originality. Per i falsi positivi ha ottenuto l’80%, il secondo risultato più alto tra otto rilevatori.
Che cos’è CodeLeaks?
CodeLeaks è uno strumento di CopyLeaks che individua il codice copiato, proveniente da librerie esistenti o da un modello linguistico. Ogni inserimento di codice genera un report dettagliato che mostra le sezioni duplicate, le relative fonti e la percentuale di plagio. Approfondiremo presto questo aspetto.
Come rilevare il codice generato dall’AI con CodeLeaks?
Passaggio n. 1: crea un account
Per iniziare a individuare il codice con CodeLeaks, devi prima creare un account. Vai alla dashboard e fai clic sul pulsante “Login” o “Crea account” nell’angolo in alto a sinistra dello schermo.
Passaggio n. 2: carica il codice
A questo punto dovresti visualizzare completamente la loro dashboard. Per verificare, cerca sei opzioni al centro dello schermo. Poi seleziona l’opzione «Codice».
Dopo aver effettuato l’accesso, trascina semplicemente un file di codice nella dashboard. Ora devi solo completare l’ultimo passaggio.
Passaggio n. 3: ottieni un report dettagliato
Prima di proseguire, creerò uno script Python con ChatGPT e lo salverò come file .py. Ho chiesto a ChatGPT di scrivere il codice per Fizzbuzz, una nota sfida di Leetcode.
Ecco il compito: devi stampare i numeri da 1 a 100. Se un numero è un multiplo di 3, stampa “FIZZ”; se è un multiplo di 5, stampa “BUZZ”. Per i numeri che sono multipli sia di 3 sia di 5, stampa “FIZZBUZZ.”
Questa è la soluzione che mi ha fornito ChatGPT:
Salviamola come file .py e carichiamola su CodeLeaks. Ecco cosa mostra:
L’analisi del codice generato dall’AI è diversa dal controllo del plagio del codice. Indica principalmente una cosa sull’input: quanto è probabile che sia stato creato dall’AI, espresso in percentuale.
Quanto è accurato CodeLeaks?
Ora che hai capito come funziona CodeLeaks, verifichiamo la sua accuratezza nell’individuare il codice generato dall’AI. Il test è composto da due parti: veri positivi e falsi positivi. La prima parte riguarda il codice generato dall’AI, mentre la seconda verifica se CodeLeaks riesce a individuare il codice scritto da una persona. Iniziamo…
Test dei veri positivi
Test dei falsi positivi
Punteggio complessivo e considerazioni sull’accuratezza di CodeLeaks
Sono rimasto sorpreso dalla precisione dimostrata da CodeLeaks. Ha classificato correttamente i dati di esempio come generati dall’AI o da una persona 7 volte su 8, un risultato notevole. Anche con un solo errore, ha comunque ottenuto un buon risultato. Lo strumento era molto sicuro delle proprie valutazioni, assegnando una probabilità di generazione tramite AI pari allo 0% o al 100% e, nella maggior parte dei casi, aveva ragione.
Un altro aspetto degno di nota è che CopyLeaks sembra individuare l’AI nel codice meglio che nei testi normali. Credo che i commenti svolgano un ruolo importante. Sia i codici generati dall’AI sia il test classificato erroneamente contenevano molti commenti e annotazioni.
Il verdetto finale
Nel mondo di oggi, il rilevamento dell’AI è sottoposto a un attento esame, ma CopyLeaks non delude. Sapevamo che era efficace nell’individuare i testi generati dall’AI, ma chi avrebbe immaginato che eccellesse anche nel rilevare il codice generato dall’AI?
È incoraggiante vedere migliorare il rilevamento dell’AI, sia per i testi sia per il codice. OpenAI è stata criticata per aver affermato che il rilevamento non è affidabile, anche se aveva ragione. Tuttavia, gli strumenti di rilevamento dell’AI continuano a evolversi insieme ai modelli linguistici di grandi dimensioni e CopyLeaks potrebbe essere all’avanguardia in questo cambiamento.
Curioso di saperne di più su CopyLeaks? Scopri altri articoli come questo sul nostro sito. Buona fortuna!
