Con il miglioramento dell’AI, è importante sapere se le persone riescono a capire quando un testo è stato scritto dall’AI. Abbiamo analizzato sei studi diversi per saperne di più.
Le persone riescono a capire se un testo è stato scritto dall’AI?
Alcuni pensano di sì, mentre altri si affidano a strumenti come Bypass Engine.
Considerati i grandi effetti del riconoscere (o non riconoscere) un testo generato dall’AI, è fondamentale sapere se le persone riescono a individuare la scrittura dell’AI. Per approfondire la questione, abbiamo esaminato sei studi diversi.
Punti principali (in breve)
- Anche se credono nelle proprie capacità, spesso le persone fanno fatica a riconoscere un testo generato dall’AI.
- Gli strumenti di rilevamento dell’AI sono molto più efficaci delle persone nell’individuare i testi generati dall’AI.
- L’incapacità di riconoscere i testi generati dall’AI può portare a problemi come la disinformazione, i casi di copiatura a scuola e i contenuti falsi online.
Le persone riescono a riconoscere un testo scritto dall’AI? 6 studi approfonditi
Sebbene molti si sentano sicuri, in genere le persone fanno fatica a riconoscere i testi scritti dall’AI. La nostra analisi dei termini comuni associati a ChatGPT ha mostrato che individuare un testo scritto da ChatGPT è più difficile del previsto.
Per approfondire la questione, analizziamo sei studi condotti da altri ricercatori sulla capacità delle persone di riconoscere i testi scritti dall’AI.
1. Gli insegnanti riescono a riconoscere l’AI? Analisi della capacità degli insegnanti di individuare i testi scritti dall’AI nei saggi degli studenti.
Riepilogo dello studio
Questo studio, disponibile su ScienceDirect, analizza la capacità degli insegnanti di riconoscere i contenuti creati dall’AI.
Con il miglioramento dell’AI, nell’istruzione è fondamentale riconoscere i testi scritti dall’AI. Per questo, i ricercatori hanno condotto dei test per capire se gli insegnanti riuscissero a distinguere tra testi scritti dall’AI e testi scritti da esseri umani.
Lo studio prevedeva due gruppi di partecipanti:
Studio 1 (i partecipanti erano futuri insegnanti)
«I futuri insegnanti hanno identificato correttamente solo il 45.1% dei testi scritti dall’AI e il 53.7% di quelli scritti dagli studenti».
Studio 2 (i partecipanti erano insegnanti esperti)
“Hanno riconosciuto correttamente solo il 37.8% dei testi generati dall’AI, ma hanno identificato correttamente il 73.0% dei testi scritti dagli studenti.”
Punti principali:
- I partecipanti hanno avuto difficoltà a distinguere con costanza i contenuti scritti dall’AI da quelli scritti da esseri umani.
- Gli insegnanti in formazione hanno riconosciuto correttamente solo il 45.1% dei testi generati dall’AI.
- Gli insegnanti esperti hanno identificato correttamente appena il 37.8% dei testi generati dall’AI.
- Anche quando si sentivano sicuri, i partecipanti spesso sbagliavano, dimostrando di aver sopravvalutato la propria capacità di riconoscere i testi generati dall’AI.
Conclusione:
Questi risultati suggeriscono che gli insegnanti fanno fatica a distinguere i lavori generati dall’AI da quelli scritti da esseri umani senza l’aiuto di strumenti di rilevamento dell’AI avanzati.
Studio: Gli insegnanti riescono a rilevare l’AI? Analisi della capacità degli insegnanti di riconoscere i testi generati dall’AI nei saggi degli studenti.
2. Non tutto ciò che è “umano” è oro: valutare la capacità delle persone di riconoscere i testi generati dall’AI
Riepilogo dello studio
In uno studio disponibile presso la Cornell University, i ricercatori hanno analizzato la capacità delle persone di capire se un testo fosse stato scritto dall’AI o da esseri umani.
Hanno esaminato storie, articoli di giornale e ricette.
Per lo studio, hanno analizzato 255 storie provenienti dai social media. Tra queste, ne hanno selezionate 50 scritte da esseri umani. Hanno inoltre creato altre 50 storie utilizzando dei prompt.
Hanno esaminato 2,111 articoli di giornale provenienti da 15 testate. Da questi, hanno selezionato 50 articoli. Poi ne hanno generati altri 50 utilizzando dei prompt.
Hanno incluso 50 ricette scritte da esseri umani tratte dal dataset RecipeNLG, insieme ad altre 50 ricette create utilizzando dei prompt.
Risultati principali
I risultati hanno mostrato che spesso le persone fanno fatica a riconoscere i contenuti generati dall’AI.
Le persone hanno indovinato correttamente nel 57.9% dei casi confrontando testi generati da GPT2 con testi scritti da esseri umani; nella tabella dello studio il dato è stato arrotondato al 58%.
Per quanto riguarda GPT3, la loro accuratezza è stata del 49.9%, arrotondata al 50%.
Anche quando i partecipanti ricevevano una formazione preliminare su come riconoscere i contenuti generati dall’AI, i loro punteggi miglioravano solo leggermente, e comunque non di molto.
I risultati indicano che le persone fanno fatica a riconoscere i testi creati dall’AI, anche quando hanno ricevuto una formazione specifica in precedenza.
Scopri quanto sono accurati i rilevatori di AI, sulla base di una meta-analisi condotta da ricercatori indipendenti che hanno esaminato studi sull’accuratezza del rilevamento dell’AI.
Ricerca: non tutto ciò che è «umano» brilla: valutare il giudizio umano sui testi generati
3. Studio: le persone fanno fatica a distinguere GPT-4 da un essere umano
Riepilogo della ricerca
Questa ricerca, condivisa dalla Cornell University, fa luce sulla capacità delle persone di riconoscere i testi creati dall’AI, inclusi tre modelli: GPT-4, GPT-3.5 ed ELIZA.
Lo studio mirava a capire se le persone riuscissero a riconoscere i contenuti scritti dall’AI. Hanno partecipato 500 persone, che hanno utilizzato un «gioco» simile a un’app di chat per mettere alla prova le proprie capacità.
Lo studio ha inoltre analizzato se la conoscenza dell’AI o la familiarità con i modelli linguistici di grandi dimensioni (LLM) influenzassero i risultati dei partecipanti.
Scoperte principali
- Come nelle ricerche precedenti, lo studio indica che le persone per lo più non riuscivano a distinguere i testi scritti dall’AI da quelli scritti da esseri umani.
- Il testo umano è stato riconosciuto correttamente come scritto da una persona nel 67% dei casi.
- GPT-4 è stato erroneamente considerato umano nel 54% dei casi.
- ELIZA è stata scambiata per un testo scritto da una persona nel 22% dei casi.
- Per quanto riguarda la conoscenza degli LLM, questa familiarità ha influito solo leggermente sull’accuratezza delle persone.
- È interessante notare che l’età ha avuto il ruolo più rilevante sull’accuratezza.
- In generale, le persone più giovani erano più brave di quelle più anziane a identificare i modelli di AI.
Riepilogo
Spesso le persone non riescono a capire se un testo è stato creato dall’AI, anche quando conoscono l’argomento.
Vuoi saperne di più su come riconoscere i testi generati dall’AI? Dai un’occhiata alla recensione sull’accuratezza del rilevatore di contenuti di Bypass Engine.
Studio: le persone non riescono a distinguere GPT-4 da una persona in un test di Turing.
4. Riesci a capire se è un bot? Come riconoscere i testi creati dall’AI nei temi universitari
Riepilogo dello studio
L’International Journal for Educational Integrity ha analizzato attentamente come riconoscere i testi scritti dall’AI nei lavori scolastici. L’obiettivo era capire se le persone riuscissero a distinguere i temi scritti dall’AI da quelli scritti da esseri umani.
Lo studio ha coinvolto 140 docenti universitari e 145 studenti universitari. Ogni partecipante ha ricevuto un tema scritto da uno studente e un altro scritto dall’AI. Doveva stabilire quale tema fosse stato creato dall’AI e quale fosse stato scritto da uno studente.
Approfondimenti principali
- I partecipanti hanno avuto difficoltà a distinguere i temi scritti dall’AI.
- I docenti universitari hanno risposto correttamente nel 70% dei casi con ChatGPT.
- Gli studenti hanno indovinato correttamente nel 60% dei casi con ChatGPT.
In sintesi
Sia i docenti sia gli studenti fanno fatica a riconoscere la presenza dell’AI nei lavori scolastici.
Studio: riconosci il bot? Individuare l’AI nei temi universitari
5. I revisori fanno fatica a riconoscere i riassunti generati da ChatGPT nella chirurgia della spalla e del gomito
Panoramica
Questo studio, pubblicato su Arthroscopy: The Journal of Arthroscopic & Related Surgery, esamina la capacità dei revisori di identificare i riassunti creati da ChatGPT.
Nello studio, ai partecipanti è stato presentato un insieme di riassunti, alcuni creati dall’AI e altri da esseri umani. Dovevano decidere quali, secondo loro, fossero stati generati dall’AI.
Risultati principali
I revisori hanno identificato correttamente i contenuti generati dall’AI nel 62% dei casi. Tuttavia, nel 38% dei casi hanno erroneamente ritenuto che i riassunti scritti da esseri umani fossero stati creati dall’AI. Questo dimostra che affidarsi esclusivamente al giudizio umano non è sufficiente e che sono necessari altri metodi di rilevamento dell’AI.
Conclusione
Questo studio, come altri, dimostra che le persone trovano difficile individuare i contenuti generati dall’AI.
6. ChatGPT riesce a superare il sistema? Confronto tra dichiarazioni personali generate dall’AI e da esseri umani nelle candidature per la specializzazione in chirurgia plastica
Riepilogo dello studio
Questo studio proviene dalla Canadian Society of Plastic Surgeons. Analizza il contenuto delle domande di ammissione alle specializzazioni mediche, un ambito molto specifico.
A questo studio hanno partecipato due chirurghi, da poco in pensione dopo 20 anni di attività presso il Canadian Residency Matching Service (CaRMS). Hanno dovuto esaminare 11 domande scritte dall’AI e 11 da esseri umani. Il loro compito era capire quali fossero state create da ChatGPT-4 e quali fossero state scritte da persone.
Principali risultati
Lo studio ha rilevato che i valutatori riuscivano a distinguere le domande scritte dall’AI da quelle scritte da esseri umani nel 65.9% dei casi. L’articolo ha evidenziato che il numero ridotto di campioni rappresentava un limite, mentre l’esperienza dei valutatori costituiva un vantaggio significativo.
Conclusione
I risultati evidenziano quanto sia difficile per le persone individuare i contenuti generati dall’AI. Anche gli esperti con oltre 20 anni di esperienza nelle domande di ammissione alle specializzazioni mediche faticano a distinguere quelle scritte da esseri umani da quelle generate dall’AI.
Considerazioni finali
Le persone riescono a riconoscere i testi creati dall’AI? Questi studi dimostrano di no.
A volte le persone indovinano, ma nella maggior parte dei casi fanno fatica a distinguere un testo scritto dall’AI da uno scritto da un essere umano. Per questo, un buon rilevatore di testi generati dall’AI è molto utile per fare maggiore chiarezza.
Domande frequenti sul rilevamento dell’AI
Le persone riescono a riconoscere i contenuti creati dall’AI?
In genere, per le persone è difficile riconoscere quando un contenuto è stato creato dall’AI. Le ricerche suggeriscono che la capacità di individuarlo varia notevolmente.
Quanto sono precisi gli strumenti di rilevamento dell’AI?
Il livello di efficacia di questi strumenti varia in base a quello che si utilizza. AI Checker di Bypass Engine dichiara un’accuratezza superiore al 99%. Inoltre, anche il modello Turbo vanta un’accuratezza superiore al 99% nell’individuare i contenuti generati dall’AI.
Per confrontare alcuni dei più diffusi strumenti di AI, puoi consultare la nostra serie di recensioni sul rilevamento dell’AI.
Cosa succede se non riusciamo a identificare i contenuti generati dall’AI?
Questo potrebbe portare a problemi significativi, come la diffusione di informazioni false, i comportamenti scorretti a scuola e la perdita di fiducia in ciò che leggiamo online.
