Verifica dei rilevatori di contenuti AI: quanto sono efficaci + strumenti che puoi usare 

Riteniamo davvero importante che gli strumenti che verificano se un contenuto è stato creato dall'AI siano chiari, onesti e responsabili. Chiunque abbia bisogno di scoprire se qualcosa è stato scritto dall'AI dovrebbe poter capire facilmente quale strumento funziona meglio per le proprie esigenze.

Gli strumenti di rilevamento dell'AI sono importanti, ma non sempre sono precisi. È necessario sapere cosa possono fare e quali sono i loro limiti. Chi sviluppa questi strumenti dovrebbe essere trasparente riguardo alla loro efficacia.

Sono disponibili informazioni sull'efficacia dello strumento Bypass Engine, inclusi report basati su diversi studi.

Puoi provare gratuitamente lo strumento Bypass Engine facendo clic qui.

Scopri il nostro rilevatore di AI 

Questa guida mostra come scegliere il miglior rilevatore di contenuti generati dall'AI. Spiega come funzionano e fornisce strumenti per verificarne l'accuratezza. Include:

• Un dataset che possiamo utilizzare insieme per testare l'efficacia dei rilevatori di AI.
• Uno strumento semplice che verifica quanto bene l'AI riesca a riconoscere i contenuti provenienti da diverse raccolte.
• Istruzioni e un calcolatore per scegliere i test migliori per il rilevamento.
• Report chiari che mostrano la realtà utilizzando dati accessibili a tutti.

Questa guida ti aiuta a imparare a valutare i rilevatori di AI, verificarne l'efficacia, condurre i tuoi esperimenti e confrontare le prestazioni dei diversi strumenti. 

Hai domande? Contattaci!

In breve:

• Lite è ormai la soluzione preferita da tutti per un'assistenza AI semplice, simile a quella offerta da Grammarly, e ha sostituito la versione Standard.
• Turbo 3.0.1 è uno strumento estremamente intelligente, in grado di rilevare anche i più piccoli indizi della presenza dell'AI.
• Scegli Turbo 3.0.1 per lavorare senza alcun intervento dell'AI.
• Scegli Lite per un'assistenza AI più semplice e meno errori.
• Bypass Engine è diventato ancora più efficace nel verificare i contenuti, affermandosi come il rilevatore di AI più accurato.

Il rilevamento dell'AI non è sempre preciso. Alcuni pensano che riesca a individuare tutto, mentre altri ritengono che si lasci sfuggire molte cose. La realtà sta nel mezzo. Aspettiamo tutti di vedere se OpenAI, o qualcun altro, riuscirà a dimostrarci il contrario.

– La chiarezza e la responsabilità sono importanti nello sviluppo e nell'utilizzo dell'AI. 

– I rilevatori di AI possono contribuire a limitare alcuni effetti negativi che l'AI generativa potrebbe avere sulla società.

Rendere il rilevamento dell'AI chiaro e responsabile aiuta a garantire equità e sicurezza per studenti e lavoratori. Bypass Engine sostiene un uso corretto dell'AI. Promuove la trasparenza, assicurandosi che le persone possano fidarsi di ciò che vedono o leggono.

La FTC invita a prestare attenzione alle dichiarazioni sull'efficacia dell'AI nel rilevare contenuti creati dall'AI.

Gli strumenti di IA che verificano i fatti devono dimostrare di essere davvero efficaci. Se dichiarano di funzionare bene senza fornire prove, possono causare grossi problemi a tutti. 

La FTC afferma che non dovremmo fidarci degli strumenti che non riescono a dimostrare di funzionare correttamente. Chi sviluppa questi strumenti concorda con la FTC e chiunque può verificarne il funzionamento. 

Si sono già verificati problemi, come il caso di un insegnante che ha bocciato per errore un'intera classe a causa di questi errori.

Le conseguenze dei contenuti generati dall'IA che le persone non riescono a riconoscere come tali sono gravi. 

Abbiamo bisogno di strumenti in grado di individuare questi contenuti generati dall'IA. Al momento, gli strumenti e gli studi disponibili non sono abbastanza solidi per affrontare i gravi problemi che questi contenuti possono causare.

1. Informazioni fuorvianti diffuse su larga scala. 
2. Storie false. 
3. Messaggi dannosi e indesiderati. 
4. Copiatura scolastica scorretta / Copiare il lavoro usando l'IA. 
5. Convinzioni false.
6. Scrittori che imbrogliano. 
7. Aziende che imbrogliano.
8. Recensioni positive inventate sui prodotti.
9. Moduli di candidatura al lavoro inventati. 
10. Saggi di ammissione all'università inventati.
11. Richieste di borse di studio inventate.

Cronologia delle versioni di Originality.ai:

Novembre 2022 : è stata lanciata una versione di prova. È arrivata prima di ChatGPT. Era in grado di rilevare GPT-2, GPT-NEO, GPT-J e GPT-3. Tuttavia, bastavano alcune piccole modifiche per aggirarla.

Aprile 2023 : è migliorata nel riconoscere i contenuti generati da ChatGPT, anche quando qualcuno ne modificava le parole. Ora commette meno errori.

Agosto 2023 : l'accuratezza è migliorata, così come la capacità di rilevare i contenuti modificati dall'AI. È stato inoltre reso disponibile gratuitamente un set di dati ed è stato lanciato un nuovo strumento per testare i rilevatori AI.

Febbraio 2024 : Turbo 3.0 è stato migliorato utilizzando nuove tecnologie AI come Grok, Mixtral, GPT-4 Turbo, Gemini e Claude 2. Ha raggiunto un livello di accuratezza eccezionale, con risultati corretti nel 98,8% dei casi e un numero inferiore di errori.

Luglio 2024 : è stata lanciata Lite 1.0.0. È accurata al 98% e commette meno dell’1% di errori. Inoltre, aiuta a capire se un testo è stato scritto con l’aiuto dell’AI, ad esempio Grammarly.

Settembre 2024: Lite è stata scelta come modello migliore e i vecchi modelli sono stati dismessi.

Ottobre 2024: è stata creata Turbo 3.0.1. Sbaglia quasi mai, con meno del 3% di errori. È stata progettata per non farsi ingannare dall’AI ed è estremamente resistente ai tentativi di manipolazione.

Come funziona il nostro rilevatore di IA: una guida semplice

Abbiamo un sistema in grado di stabilire se qualcosa è stato scritto da un computer o da una persona.

Il sistema migliora studiando moltissimi esempi scritti dall'IA e dagli esseri umani. Impara a riconoscere le differenze tra loro utilizzando un modello avanzato.

Vuoi sapere come individuare i testi scritti dai computer?

Come le macchine individuano i testi scritti dall'IA Macchine 

Ecco una spiegazione semplice dei tre modi principali in cui uno strumento (spesso chiamato “classificatore” nel campo dell'apprendimento automatico) può determinare se un testo è stato scritto da un'AI o da una persona.

1. Usare le caratteristiche per risolvere i problemi

• Individua gli schemi presenti solo nei testi generati dall'IA.
• Variabilità indica quanto spesso ripetiamo le parole insieme. Le persone usano frequentemente alcune espressioni, mentre l’AI varia maggiormente il vocabolario.
• Prevedibilità misura quanto facilmente possiamo indovinare la parola successiva. I testi generati dall’AI sono generalmente facili da prevedere (meno ambigui), mentre quelli scritti dalle persone sono più difficili da anticipare (più ambigui).
• Caratteristiche di frequenza – Analizzano la frequenza con cui compaiono parole o frasi. Schemi insoliti possono indicare l’intervento dell’AI.
• Gli studi hanno dimostrato che i testi generati dall'IA, soprattutto quelli prodotti dai modelli più datati, sono generalmente facili da comprendere.
• L'IA usa correttamente la punteggiatura, ma il risultato potrebbe non sembrare naturale quanto il modo in cui scrivono gli esseri umani.
• Vantaggi: veloce, economico e valido con i sistemi di AI meno recenti.
• Svantaggi: ha difficoltà con modelli complessi come GPT-4 e Bard.
• Esempi: GPTZero, Winston AI

2. Un approccio zero-shot

• L'IA associa il testo al proprio stile di scrittura.
• Vantaggi: facile da usare, non richiede alcuna formazione aggiuntiva.
• Svantaggi: facile da aggirare riformulando il testo
• Esempi: GPTZero, ZeroGPT

3. Migliorare il modo in cui rendiamo l'IA più intelligente

• Esegue controlli con programmi avanzati (come BERT e RoBERTa) per individuare ciò che distingue la scrittura dell'IA da quella delle persone.
• Vantaggi: è il modo migliore per capire chi ha creato il testo.
• Svantaggi: costoso e lento da aggiornare in base ai modelli di AI più recenti.
• Esempi: Originality.ai AI Detector, OpenAI Text Classifier (non più disponibile)

Il test di cui stiamo parlando verifica l'efficacia dei diversi rilevatori utilizzando tutte le strategie menzionate in precedenza.

Piano dei test:

Abbiamo testato il nuovo AI Content Checker di Bypass Engine svolgendo alcune attività:

1. Abbiamo esaminato tre tipologie diverse con numerosi esempi. 

2. Abbiamo verificato le sue prestazioni su un set di dati piccolo e impegnativo. 

3. Lo abbiamo testato con i nostri strumenti e abbiamo inserito manualmente i dati quando non era possibile usare procedure automatiche. 

4. Abbiamo utilizzato fonti di dati note per verificare quanto sia davvero efficace Originality.ai. 

Possiamo anche ripetere il secondo test utilizzando uno strumento accessibile a tutti e set di dati speciali. 

Scopri il nostro nuovo set di dati per il rilevamento avversario dell'IA:

Condividiamo un set di dati speciale per verificare l'efficacia dei rilevatori di IA e mostrare anche i loro limiti. Include:

• Testi difficili generati dai robot (come i testi scritti da ChatGPT-4 o le parole generate dai robot e poi modificate). Testi scritti da persone per fare un confronto.

Questi dati provengono da un ampio insieme di dati, ma non sono stati selezionati per i test principali. Servono a garantire che i test siano equi e privi di distorsioni.

Dai un’occhiata alla tabella qui sotto. Contiene un elenco di set di dati e una breve descrizione per ciascuno. 

Puoi scaricare il set di dati facendo clic qui.

Qual è il modo migliore per effettuare una verifica? Prova a usare i tuoi dati!

Usare strumenti di AI con i tuoi dati aiuta a renderli più accurati. Tuttavia, potrebbe essere necessario apportare qualche modifica per individuare i contenuti falsi. Prova il nostro strumento gratuito per verificare quanto funziona il rilevatore con i tuoi dati.

Scopri come funziona e quali strumenti gratuiti sono disponibili per tutti:

Sono stati creati strumenti per individuare meglio i contenuti scritti dall’AI. Forniscono informazioni, dati numerici e dettagli chiari. Il loro strumento principale funziona con i rilevatori di AI tramite un codice speciale, rendendo la verifica semplice e accurata.

1. Eseguire tutti i test quasi contemporaneamente, nell’arco della stessa giornata.
2. Assicurarsi che ogni strumento riceva esattamente lo stesso testo, senza modifiche alla formattazione.
3. Testare rapidamente i set di dati man mano che diventano disponibili.
4. Permettere a potenziali clienti o ricercatori di provare i propri dati per individuare il miglior rilevatore di AI in base alle loro esigenze.

I nuovi LLM vengono lanciati molto rapidamente e anche il rilevamento dell’AI migliora di continuo. Di conseguenza, se uno studio impiega 4 mesi per essere pubblicato, è già obsoleto. 

Funzionalità di questo strumento:

• Gratuito e disponibile senza alcun costo
• Può controllare grandi quantità di testo con diversi rilevatori di AI 
• Fornisce rapidamente i risultati 
• Valuta automaticamente le prestazioni dei rilevatori (ad esempio accuratezza, errori e altro)

Scopri questo fantastico strumento: https://github.com/OriginalityAI/AI-detector-research-

strumento. 

Abbiamo inoltre aggiunto tre metodi semplici per usare il nostro strumento con i tuoi set di dati.

1. Individua i contenuti generati dall’AI in Microsoft Excel
2. Cerca i contenuti creati dall’AI in Google Sheets. 
3. Trova i contenuti generati dall’AI in AirTable.

La nostra opinione sull’uso dei rilevatori di AI nelle scuole e sul problema degli errori

Usare esclusivamente i punteggi dell’AI per decidere se qualcuno ha commesso un’azione scorretta può portare a errori. 

Per evitare errori, gli sviluppatori hanno messo a disposizione una guida per scrittori e studenti, oltre a uno strumento gratuito per Chrome che verifica l’originalità dei lavori.

La nuova versione, 1.0.0 Lite, è pensata per le scuole e aiuta ad apportare facilmente piccole correzioni con strumenti simili a Grammarly.

Come verificare l’accuratezza dei rilevatori di AI

Ecco come determiniamo se i rilevatori di AI per individuare i contenuti creati dall’AI sono davvero efficaci. L’argomento può diventare un po’ tecnico, ma se vuoi approfondirlo abbiamo preparato ulteriori dettagli. 

Un solo numero che indica quanto è efficace un rilevatore non è davvero utile! 

Non dovresti fidarti di un singolo punteggio di “accuratezza” senza saperne di più. 

Scopriamo i diversi modi per valutare l’efficacia di questi rilevatori…

Matrice di confusione 

La matrice di confusione e il punteggio F1 mostrano quanto bene un modello di AI riesca a distinguere tra contenuti autentici e contenuti generati dall’AI. Puoi visualizzare rapidamente queste informazioni in un’unica immagine.

• Vero positivo (TP) indica che il testo generato dall’AI è stato identificato correttamente.
• Falso negativo (FN) – Il rilevatore di AI ha commesso un errore, classificando come scritto da una persona un contenuto generato dall’AI. 
• Falso positivo (FP) – Il rilevatore di AI ha commesso un errore, indicando come generato dall’AI un contenuto scritto da una persona. 
• Vero negativo – Identifica correttamente i contenuti scritti da persone.

Capire la matrice di confusione con GPT-4 e dati umani, versione semplificata 1.4

Tasso di veri positivi — Rilevare i testi generati dall’AI

Individua correttamente i testi scritti dall’AI x% delle volte. Il tasso di veri positivi, o TPR, è chiamato anche sensibilità, tasso di rilevamento o recall.

• Tasso di veri positivi TPR = TP / (TP & FN)

Tasso di veri negativi — Individuare i testi scritti da persone:

Verifica correttamente se un contenuto è stato creato da una persona x% delle volte. Il tasso di veri negativi TNR è chiamato anche specificità o selettività.

• Tasso di veri negativi TNR = TN / (TN & FP) = 1- FPR

Accuratezza:

Avere ragione non è tutto: alcuni strumenti che rilevano i testi generati dall’AI dichiarano di essere molto efficaci, ma non spiegano come funzionano.

• Accuratezza = Veri / (Veri + Falsi) = (TP + TN) / (TP + TN + FB +FN)

F1:

Un punteggio che combina in modo efficace l’accuratezza e la capacità di individuare tutti gli elementi importanti, per valutare correttamente i rilevatori di AI.

• F1 = 2 x (PPV x TPR) / (PPV + TPR) dove Precisione (PPV) = TP / (TP + FP)

Metriche che abbiamo considerato, ma non utilizzato:

• Non abbiamo incluso ROC e AUROC perché non possiamo modificare il livello di sensibilità degli altri strumenti e alcuni strumenti non utilizzano punteggi percentuali.
• Anche la precisione, ovvero PPV =TP /(TP+FP), non viene utilizzata.

Quindi, che cosa viene considerato esattamente contenuto generato dall’AI?

Che cosa viene considerato contenuto generato dall’AI e che cosa no? Con sempre più testi scritti da persone e assistenti AI, diventa difficile capire che cosa sia contenuto esclusivamente generato dall’AI! 

Alcune ricerche hanno fatto scelte discutibili su ciò che considerano testo autenticamente umano o generato dall’AI. 

Per esempio, uno studio ha analizzato testi scritti da persone in diverse lingue, poi tradotti in inglese con l’AI, e li ha comunque classificati come autentico lavoro umano. 

Descrizione del dataset:

Affermare che il dataset generato dall’AI sembri scritto da una persona???

https://arxiv.org/pdf/2306.15666.pdf

I rilevatori di AI devono riconoscere quando un testo generato dall’AI è stato modificato in modo significativo. Anche piccole modifiche possono nascondere il fatto che sia stato creato dall’AI. Per questo classifichiamo in modi diversi i contenuti su cui l’AI è intervenuta.

• Testo generato dall’AI = Generato dall’AI
• Testo generato dall’AI migliorato dalle persone = Generato dall’AI
• Generato dall’AI con importanti modifiche umane = Generato dall’AI
• Pianificato dall’AI, ma creato e modificato ampiamente dalle persone = Generato dall’AI
• Testo scritto da persone, con un aiuto minimo dell’AI = Dipende
• Ricerche svolte dall’AI, ma testo scritto da persone = Autenticamente scritto da persone
• Testo e verifica realizzati entrambi da persone = Autenticamente scritto da persone

Più usiamo l’AI nella scrittura, più è facile accorgersi che un testo è stato generato dall’AI. La giornalista Kristi Hines e altre persone hanno approfondito la questione. Hanno condiviso i risultati nel Search Engine Journal.

Stiamo verificando quanto sia unica la nuova versione Lite di Bypass Engine per l’aggiornamento di luglio 2024.

Finalmente! È arrivato il momento di fare qualche test

Continuano ad arrivare LLM nuovi e migliori, quindi dobbiamo aggiornare i nostri modelli e il modo in cui li testiamo. 

Ecco la versione Lite 1.0.0.

La nostra versione di luglio 2024 introduce la Versione Lite 1.0.0. Scopri come si è comportato questo nuovo modello Lite nei nostri test.

1. La versione Lite è davvero efficace nell’individuare i contenuti scritti da persone e commette pochi errori, anche quando deve rilevare piccole modifiche apportate dall’AI.
2. Prestazioni su diversi set di dati

• La versione Lite 1.0.0 è in grado di determinare se un contenuto contiene alcune modifiche apportate dall'AI o se è stato interamente generato dall'AI.
• La probabilità che sbagli quando identifica qualcosa come generato dall'AI è davvero bassa, appena dell'1% (un risultato migliore rispetto alla precedente versione 2.0.0). Se la cava bene anche nel riconoscere i contenuti generati dall'AI, con appena il 2% di probabilità di non rilevarli. 
• È risultata la più precisa in 4 dei 10 test sull'AI a cui è stata sottoposta.

3. Punti principali: tasso di errore molto basso ed eccellenti capacità di rilevare contenuti con piccole modifiche apportate dall'AI.

La versione Lite 1.0.0 è davvero efficace nel rilevare le modifiche apportate da strumenti di AI come Grammarly e sbaglia molto raramente. Questo la rende ideale per scuole e istituti di formazione.

Analisi di 6 strumenti per rilevare l'AI nascosta

Ora verificheremo l'efficacia dei diversi rilevatori di AI mettendoli alla prova.

Per ripetere questi test più volte, abbiamo utilizzato…

1.  Scopri il nostro nuovissimo strumento: il verificatore open source dell'accuratezza dei rilevatori di AI. 
2. Scopri questi set di dati gratuiti che puoi utilizzare per confrontare le prestazioni degli strumenti:

• Benchmark open source per il rilevamento avversariale dell'AI
• Set di dati sui bias per il rilevatore di ChatGPT

Il test n. 2 è impegnativo. Utilizza impostazioni complesse per i dati di GPT-3, GPT-4, ChatGPT e Paraphraser. È diverso dalla maggior parte degli strumenti di riconoscimento dell'AI, che utilizzano contenuti generati dall'AI più comuni.

Scopri il test n. 2 — Cosa abbiamo rilevato 

Puoi visualizzare i punteggi, i dati e i dettagli scaricandoli qui:

• https://drive.google.com/drive/folders/14uCk9s8ypSp63Yd-M4EGYr9uDyO4U9D0?usp=drive_link

Test numero 2 – Risultati della verifica della capacità dell'AI di rilevare i testi scritti dall'AI:

Abbiamo eseguito questo test con una versione precedente, la 2.0.0, ma non la utilizziamo più. 

Ora vediamo come si è comportata nei test la nostra versione più recente, chiamata Lite.

• La tabella ordina gli strumenti in base a un numero speciale, l'F1. Questo numero indica quanto sono efficaci nel rilevare i contenuti generati dall'AI e nel riconoscere quelli scritti dagli esseri umani.
• Tutti gli strumenti hanno ottenuto risultati abbastanza buoni nel distinguere correttamente i contenuti, con tassi di errore compresi tra lo 0.8% e il 7.6%.
• La capacità di riconoscere i contenuti generati dall'AI variava notevolmente, dal 19.8% fino al 98.4%.

Test n. 2 — Come ciascun rilevatore di AI riconosce ciò che crea confusione:

Comprendere i dati con Bypass Engine — Una panoramica del nostro secondo esperimento con set di dati impegnativi 

[Modello Turbo 3.0.1]

[Modello Lite 1.0.0]

Winston.AI — Alla prova — Secondo esperimento con dati impegnativi

Winston.ai F1 = 52.0

Tree.AI — Tabella delle classificazioni errate — Verifica dei dati impegnativi dell'esperimento n. 2

Sapling.ai F1 = 37.9

GPTZero contro la confusione – Secondo round: test con dati impegnativi

GPTZero F1 = 34.2

Esplorare i contenuti su larga scala – Comprendere le classificazioni errate – Esperimento n. 2: test dei dati impegnativi

ContentatScale F1 = 33.4

CopyLeaks: test su set di dati complessi

F1 di CopyLeaks = 32.9

Problemi con il test n. 2:

Semplificazione dell’inserimento: abbiamo dovuto verificare manualmente alcuni strumenti di AI, come ContentAtScale, TurnItIn e WinstonAI, perché i computer non erano in grado di gestire tutto. Potrebbero esserci degli errori, ma abbiamo ricontrollato gli elementi di cui non eravamo sicuri.

Qualità dei dati: il dataset proveniva da un insieme molto più ampio e non era stato completamente ripulito, quindi alcuni esempi potrebbero non essere perfetti.

Il 13 febbraio 2024 abbiamo verificato il nostro nuovo rilevatore AI e abbiamo anche eseguito controlli dal 24 al 28 luglio 2023. Questi test mostrano come funzionava allora, ma potrebbero non indicare come funzionerà in seguito.

Il nostro team che studia l'AI afferma che l'utilizzo di soli 2.000 test non ci permette di capire tutto sul suo funzionamento.

Vuoi verificare quanto è accurato usando informazioni diverse? Usa il nostro strumento gratuito con molti tipi di dati.

• Strumento e set di dati open source per confrontare i rilevatori AI: ora disponibili

Test n. 3 – Altri set di dati per il rilevamento dell'AI e 5 test aggiuntivi:

Ecco altri dati da provare. 

Non abbiamo testato tutti gli strumenti con questi dati, ma abbiamo verificato Bypass Engine. Ecco come si è comportato Bypass Engine.

Tutti questi dati provengono da articoli di ricerca consultabili da chiunque.

Di seguito analizziamo le differenze tra i modelli Lite e Turbo.

Test 3-A: quanto è simile ChatGPT agli esperti umani reali?

• Lo studio mostra che il modello supera i giudici umani e persino i migliori esperti dell'8,8%. Inoltre, ottiene punteggi migliori in diversi test rispetto agli altri modelli analizzati nella ricerca.
• https://arxiv.org/pdf/2301.07597.pdf
• https://huggingface.co/datasets/Hello-SimpleAI/HC3

Test 3-A di Bypass Engine: trasformare le parole di ChatGPT in un linguaggio umano

[Modello Turbo 3.0.1]

‍

[Modello Lite 1.0.0]

Test 3-B: verificare come individuare articoli scientifici scritti dai computer

• https://aclanthology.org/2023.trustnlp-1.17.pdf.
• https://huggingface.co/datasets/tum-nlp/IDMGSP
• Secondo la scala di valutazione del test, il nostro modello è più accurato di altri quattro. Non ha bisogno di apprendere dagli articoli di ricerca. Tuttavia, se gli altri tre modelli apprendono da quasi tutti i tipi di dati del test, ottengono risultati leggermente migliori del nostro. 

Bypass Engine: test n. 3-B per individuare saggi scritti dall'AI

[Modello Turbo 3.0.1]

[Modello Lite 1.0.0]

‍Set di dati e risultati

Test 3-C: individuare i testi scritti dai grandi sistemi di AI

• L'articolo ha dimostrato che l'unicità ha superato tutti i rilevatori testati.
• Articolo: https://arxiv.org/pdf/2305.15047.pdf
• Set di dati: https://github.com/vivek3141/ghostbuster (2,895 campioni)

Test Ghostbuster — Matrice di confusione — Bypass Engine, test 3-C

[Modello Turbo 3.0.1]

[Modello Lite 1.0.0]

‍Set di dati e risultati

Test 3-D — capire come l'AI può individuare i saggi che ha creato

• Abbiamo ottenuto un punteggio perfetto del 100% in entrambe le categorie.
• Gli articoli scritti da studenti svedesi che imparano l'inglese dimostrano l'efficacia del nostro modello con chi sta imparando l'inglese.
• Abbiamo superato ogni modello menzionato qui.
• https://www.mdpi.com/2076-3417/13/13/7901
• https://github.com/rcorizzo/one-class-essay-detection

Bypass Engine — comprendere la matrice di confusione — test n. 3-D — individuare i saggi scritti dall'AI

[Modello Turbo 3.0.1]

‍Set di dati e risultati

Test 3-E — individuare l'AI: trovare i saggi scolastici di ChatGPT con CheckGPT

• Il nostro sistema era davvero efficace nell'individuare i testi generati dall'AI. Ha indovinato correttamente nel 96.7% dei casi. Questo include argomenti complessi come fisica, informatica e scienze sociali, su cui non ci eravamo concentrati durante la creazione del sistema. GPTZero ha ottenuto il 61.2%.
• Abbiamo verificato 9,000 esempi e abbiamo ottenuto la risposta corretta nel 94.5% dei casi, quasi al livello del miglior studio simile al nostro. Anche se abbiamo effettuato i test in modi diversi, i risultati sono stati eccellenti e siamo stati molto più efficaci di GPTZero nel determinare se un contenuto era stato generato dall'AI.
• https://arxiv.org/pdf/2306.05524.pdf
• https://huggingface.co/datasets/julianzy/GPABenchmark

TryMe Originality – Rompicapo della confusione – Test #3-E – Riesci a riconoscermi?

[Modello Turbo 3.0.1]

‍Set di dati e risultati

Altri studi 

Gli studi e i dati di cui non abbiamo parlato presentano gli stessi problemi…

• Test di piccole dimensioni (usare solo 100 campioni non è sufficiente!)
• Tempi di attesa lunghi — Se uno studio impiega molto tempo per essere pubblicato, è un problema perché le cose cambiano rapidamente.
• Mancanza di condivisione dei dati — Quando gli studi non condividono i propri dati, è sempre una delusione.
• Confronto tra strumenti — Ogni volta che si confrontano strumenti o livelli di accuratezza, è necessario condividere i dati utilizzati. 
• Test di AI semplici — Creare test difficili per distinguere l’AI dagli esseri umani è complesso e costoso, ma i test semplici sono troppo poco significativi. Un test basato su dati generati da GPT-2 non ci dice molto.
• Altri test da considerare:
• Rilevatore AI di HuggingChat 
• Controllo antiplagio per testi parafrasati

Gruppi indipendenti hanno condotto altri sei studi. Hanno scoperto che l'originalità è l'elemento più accurato.

• Analisi dell'efficacia nel rilevare i testi scritti dall'AI
• Studiare come individuare i testi generati dall'AI
• Quanto sono efficaci i programmi nell'individuare i testi scritti dall'AI?
•  Uno sguardo approfondito allo studio “RAID” 
• Quando l'AI scrive di argomenti medici
• Ricerca sul ruolo dell'AI nei riepiloghi scientifici
• Verificare se gli studenti usano l'AI per i compiti

Abbiamo utilizzato i nostri dati e altri dati accessibili a tutti. I test continuano a dimostrare che Originality.ai è efficace nell'individuare i contenuti generati dall'AI.

Tutti gli strumenti che individuano i testi generati dall'AI

Ecco una guida semplice per trovare gli strumenti di rilevamento dei contenuti generati dall'AI. Se vuoi confrontare altri strumenti di rilevamento dell'AI e scoprire cosa fanno, dai un'occhiata a questo articolo: “22 strumenti di rilevamento dei contenuti AI”. 

Elenco degli strumenti:

1. HuggingFace
2. GLTR.io AI 
3. Passed.AI
4. Writer.com 
5. Willieai.com 
6. GPTZero
7. ContentAtScale
8. CopyLeaks
9. POE Poem of Quotes
10. DetectGPT
11. On-Page.AI
12. GPTRadar.com
13. Percent Human
14. Grover 
15. KazanSEO
16. Sapling
17. CrossPlag
18. CheckForAI.com
19. Draft & Goal
20. GPTkit.ai
21. ParaphrasingTool.ai 
22. Classificatore di testi OpenAI (rimosso)
23. Controllo della scrittura AI
24. Winston AI
25. InkForAll
26. ContentDetector.ai
27. WriteFull
28. ZeroGPT
29. TurnItIn
30. Bypass Engine

I test hanno dimostrato che alcuni strumenti sono migliori di altri! Molti sono stati realizzati rapidamente e utilizzano semplicemente un apprezzato rilevatore GPT-2 open source (ha registrato 195.000 download lo scorso mese).

Perché il nostro modello funziona meglio?

Ecco perché riteniamo che Originality.ai sia molto più efficace nel rilevare i contenuti scritti dall'AI rispetto alle altre soluzioni disponibili:

1. Questo modello di AI richiede molta potenza di calcolo, quindi è costoso da gestire. Per questo non può essere gratuito né finanziato dalla pubblicità.
2. Questa AI aiuta chi scrive su Internet. Impara analizzando i contenuti online per capire se un testo è stato scritto da una persona o dall'AI. Non analizza i vecchi libri, perché sono scritti in modo diverso.
3. L'AI migliora studiando domande complesse e strategie per aggirarla, adattandosi ai nuovi problemi con maggiore precisione.

Considerazioni finali 

Il team di Bypass Engine ha lavorato duramente per migliorare il proprio strumento di rilevamento dei contenuti AI e puntare alle massime prestazioni.

I risultati…

• Bypass Engine lancia Lite 1.0.0.
  • Lite 1.0.0 è estremamente preciso, con un tasso di successo del 98%. Commette un errore solo l'1% delle volte. Puoi anche usarlo per migliorare la tua scrittura, grazie a suggerimenti simili a quelli di Grammarly. È perfetto per i lavori scolastici.
• Bypass Engine lancia la versione Turbo 3.0.1
  • Turbo 3.0.1 dà quasi sempre il risultato corretto, commette pochissimi errori ed è difficile da aggirare.
  • Se vuoi evitare davvero qualsiasi traccia di AI nei tuoi testi, scegli Turbo versione 3.0.1. 
  • Se non ti dispiace apportare qualche piccola correzione, scegli Lite.
• In sei studi diversi, la versione più recente di Bypass Engine si è classificata al primo posto, ottenendo risultati accurati ogni volta.
• Abbiamo testato sei strumenti che verificano se un testo è stato scritto dall'AI su una nuova serie di prove particolarmente impegnative. Il migliore nel rilevare i contenuti scritti dall'AI è stato Bypass Engine.
• Un nuovo strumento intuitivo e un set di dati speciale per testare rapidamente i rilevatori creati e condivisi

Speriamo che questo articolo ti aiuti a conoscere meglio i rilevatori AI e la loro accuratezza. Vogliamo offrirti gli strumenti per svolgere le tue verifiche in autonomia, se l'argomento ti interessa. 

Crediamo che…

1. Dovremmo essere trasparenti e responsabili nello sviluppo e nell'utilizzo dell'AI.
2. Gli strumenti in grado di rilevare l'AI possono contribuire a ridurre alcuni degli effetti negativi che questa tecnologia potrebbe avere sulla società. 
3. L'accuratezza degli strumenti di rilevamento dell'AI dovrebbe essere comunicata in modo chiaro e responsabile, proprio come chiediamo che avvenga nello sviluppo e nell'utilizzo dell'AI.

Speriamo che questo studio ti sia utile. Hai domande su Bypass Engine? 

Contattaci.

Stai pensando di svolgere i tuoi test? Facci sapere. Che tu sia uno studente, un giornalista o semplicemente una persona curiosa, siamo qui per aiutarti. 

Scopri quanto è accurato Bypass Engine nei diversi studi e prova tu stesso il nostro rilevatore AI!