Principali differenze tra la valutazione dei saggi da parte dell’AI e quella umana

L'AI e le persone valutano i saggi in modo diverso. Entrambi gli approcci hanno vantaggi e svantaggi. Ecco una breve panoramica:

-L'AI è veloce, costante e controlla bene la grammatica. Può correggere rapidamente molti saggi, mantenendo criteri uniformi e individuando gli errori grammaticali e strutturali.

-Le persone comprendono meglio il contesto, il tono e la creatività. Riescono a cogliere concetti complessi, riferimenti culturali e originalità, offrendo feedback personalizzati.

-L'AI è economica e funziona bene per le valutazioni su larga scala, mentre la valutazione umana può essere soggettiva e risentire della stanchezza o dei pregiudizi.

-L'approccio migliore? Usarli entrambi. L'AI si occupa delle attività ripetitive, mentre le persone forniscono feedback dettagliati e sfumati.

Confronto rapido

La valutazione dell'AI e quella umana funzionano meglio insieme, combinando efficienza e profondità per migliorare la valutazione dei saggi e l'apprendimento degli studenti.

Accuratezza nella valutazione: AI vs giudizio umano

Quando si tratta di valutare, l'AI e le persone hanno punti di forza unici. Gli studi rivelano che le persone raggiungono un accordo preciso solo nella metà dei casi. L'accuratezza dell'AI varia in base al tipo di valutazione. Esploriamo i punti di forza e i limiti di entrambi i metodi.

Capacità umane: comprendere il contesto e le sfumature

Le persone sono brave a cogliere gli aspetti più profondi dei testi scritti dagli studenti. Notano i punti complessi, colgono i lievi cambiamenti di tono e comprendono i riferimenti culturali che l’AI potrebbe non rilevare. Questa capacità permette loro di riconoscere la creatività e le nuove idee nei lavori degli studenti, aiutandoli ad apprezzare il pensiero originale.

Inoltre, le persone sono abilissime nel cogliere il contesto, utilizzare le proprie conoscenze e valutare la coerenza dei temi. Queste doti le aiutano a riconoscere argomentazioni brillanti o approcci originali e sensati. Tuttavia, la valutazione umana presenta alcune difficoltà, come una formazione insufficiente, la stanchezza e i pregiudizi, che a volte possono comprometterne l’affidabilità.

Punti di forza dell’AI: coerenza e precisione

I sistemi di AI eccellono nel fornire valutazioni coerenti e basate su regole. Sono particolarmente efficaci nel controllare grammatica, ortografia, struttura delle frasi, pertinenza e dettagli a supporto. Applicando gli stessi criteri ogni volta, l’AI evita i pregiudizi personali che possono influenzare i valutatori umani.

Il metodo dell’AI, basato sui dati, le permette di individuare con grande precisione errori grammaticali, problemi di struttura ed errori di formattazione, che potrebbero passare inosservati durante lunghe sessioni di valutazione. L’AI è anche più coerente, con livelli di concordanza compresi tra il 59% e l’82% in prove diverse, mentre i valutatori umani raggiungono circa il 43%.

Tuttavia, l’AI fatica a comprendere il contesto, il tono e le sfumature nelle risposte degli studenti. Potrebbe non individuare errori organizzativi o riconoscere metodi originali ma efficaci.

Confronto della precisione

Esaminiamo come si confrontano le valutazioni dell’AI e quelle umane in vari ambiti:

Le ricerche su ChatGPT fanno luce sulle sue modalità di valutazione. In uno studio, i punteggi assegnati da ChatGPT agli elaborati rientravano entro un punto da quelli dei valutatori umani nell’89% dei casi. Tuttavia, quando sono stati testati diversi tipi di elaborati, questa percentuale è scesa al 76%. Su una scala da 1 a 6, i punteggi di ChatGPT erano in media inferiori di 0.9 punti rispetto alle valutazioni umane. Ha inoltre mostrato un potenziale pregiudizio, assegnando punteggi più bassi agli elaborati degli studenti asiatici e delle Isole del Pacifico rispetto ai valutatori umani.

Se consideriamo la precisione, i punti di forza della valutazione dell’AI e di quella umana emergono in situazioni specifiche. L’AI eccelle nelle valutazioni oggettive basate su criteri chiari, mentre i valutatori umani sono migliori nelle valutazioni soggettive che richiedono comprensione del contesto e giudizio sfumato.

Coerenza nella valutazione

Valutare molti elaborati nello stesso modo è difficile. Il confronto tra valutatori AI e umani evidenzia differenze significative. La precisione verifica se ogni elaborato riceve il punteggio corretto. La coerenza indica se le stesse regole vengono applicate nel tempo e a elaborati diversi. Vediamo cosa rende difficile la valutazione per le persone e come l’AI risolve questi problemi.

Difficoltà della valutazione umana: stanchezza e differenze personali

Chi valuta gli elaborati trova spesso difficile mantenere criteri equi, soprattutto quando deve leggerne molti. La stanchezza è una delle cause principali di questa mancanza di equità. Gli studi dimostrano che, quando i valutatori si annoiano, tendono ad assegnare punteggi più bassi. Anche gli insegnanti più esperti potrebbero assegnare punteggi diversi allo stesso elaborato perché lo interpretano in modo differente o sono influenzati da pregiudizi inconsci. Elementi come una grafia ordinata o la padronanza dell’inglese da parte dello studente possono modificare involontariamente i punteggi, rendendoli meno affidabili.

L’uso di rubriche di valutazione può contribuire a rendere i punteggi più coerenti, portando il livello di coerenza da circa il 30% fino al 90%. Tuttavia, anche con le rubriche, i valutatori possono stancarsi e prendere decisioni soggettive. A differenza delle persone, i sistemi di AI non devono affrontare questi problemi e offrono un metodo di valutazione più stabile.

Il vantaggio dell’AI: criteri coerenti ogni volta

I sistemi di AI, come GPT-4, hanno un grande vantaggio nel mantenere coerenti i punteggi. Con un’autocoerenza superiore all’80%, GPT-4 ottiene risultati nettamente migliori rispetto ai valutatori umani, che raggiungono solo il 43% di coerenza. A differenza delle persone, l’AI non si stanca e non perde la concentrazione, garantendo che un elaborato valutato al mattino riceva lo stesso punteggio di uno esaminato più tardi. Anche GPT-3.5, leggermente meno stabile, raggiunge comunque valori compresi tra il 59% e l’82%, a seconda delle impostazioni.

L’AI è anche molto efficace nel seguire griglie di valutazione, mantenendo uniformi i punteggi tra un gran numero di saggi. Questo la rende estremamente utile per gestire valutazioni su larga scala, dove la coerenza è fondamentale.

Confronto dei dati sull’affidabilità

Il grafico seguente mostra la variazione nella coerenza con cui esseri umani e sistemi di AI assegnano i punteggi:

I dati indicano chiaramente che i sistemi di AI, come GPT-4, mostrano una maggiore coerenza interna rispetto ai valutatori umani. Tuttavia, è importante sottolineare che, quando confrontati direttamente con la valutazione umana, i valutatori umani tendono generalmente a essere più concordi tra loro rispetto all’AI. Ciò suggerisce che, sebbene l’AI sia efficace nel rispettare i propri criteri, questi potrebbero non coincidere con le preferenze umane.

Un problema importante della valutazione umana è l’incoerenza tra i diversi valutatori. Il punteggio di uno studente può cambiare notevolmente a seconda di chi corregge il suo elaborato, sollevando dubbi sull’equità nelle situazioni di verifica più importanti. Al contrario, i sistemi di AI offrono un metodo di valutazione più stabile e coerente, riducendo questa variabilità. Tuttavia, le differenze tra i criteri di valutazione dell’AI e quelli umani richiedono ulteriori approfondimenti.

Confronto tra velocità e scalabilità

L’AI analizza i saggi in pochi secondi, a differenza delle molte ore necessarie agli esseri umani. Questo cambiamento sta trasformando il modo in cui scuole ed enti di valutazione gestiscono la correzione di molti elaborati degli studenti.

Velocità nella valutazione dei saggi

Pensaci: un insegnante che corregge i saggi di sei classi da 25 studenti ciascuna potrebbe aver bisogno di 50 ore per completare il lavoro. Al contrario, l’AI può farlo in pochi minuti. Per esempio, gli strumenti di AI avanzati possono assegnare un punteggio in 2 secondi o meno. Strumenti come EssayGrader possono persino correggere i saggi di un’intera classe in meno di 2 minuti.

Alcuni sistemi, come i software AES, sono estremamente efficienti e possono correggere 16.000 saggi in soli 20 secondi. Questo riduce dell’80% il tempo necessario per la correzione rispetto ai metodi tradizionali affidati a valutatori umani. Nei test standardizzati, dove molti saggi devono essere corretti rapidamente, questa velocità aiuta a rispettare le scadenze senza compromettere il processo.

Kwame Anthony Appiah, professore alla New York University, afferma che il tempo risparmiato nella valutazione dei compiti potrebbe essere utilizzato in modo più efficace per altri scopi, soprattutto per attività utili agli studenti. Sostiene: «Usare l’AI in un modo che aiuti davvero gli studenti non è ipocrita».

Questo aumento della velocità non fa solo risparmiare tempo: riduce anche notevolmente i costi, rendendo più semplici da gestire le valutazioni su larga scala.

Analisi dei costi

La correzione manuale dei saggi richiede personale qualificato, pianificazione e controllo della qualità, facendo aumentare i costi con l’arrivo di un numero maggiore di elaborati. I sistemi di AI, invece, mantengono stabili i costi dopo la configurazione iniziale, indipendentemente dal numero di saggi analizzati. Questi sistemi possono gestire grandi quantità di elaborati senza aumentare le spese.

Questo vantaggio economico è particolarmente utile per i test su larga scala, le valutazioni scolastiche e i corsi universitari con molti studenti, dove affidarsi al personale avrebbe costi elevati. Riducendo il tempo dedicato alla correzione, l’AI consente agli insegnanti di concentrarsi su ciò che conta davvero: insegnare e offrire un supporto individuale agli studenti. Questo può aumentare la soddisfazione degli insegnanti e alleggerire le lunghe ore di correzione, contribuendo a prevenire il burnout.

Gestire grandi volumi

Oltre alla velocità e ai costi, l’AI eccelle nella scalabilità. La sua capacità di espandersi senza sforzo la rende fondamentale nei grandi contesti educativi. I valutatori umani si stancano e commettono più errori durante le sessioni di correzione prolungate. L’AI, invece, mantiene lo stesso livello di valutazione, sia che si tratti del primo saggio sia del decimillesimo.

IntelliMetric analizza oltre 400 elementi degli elaborati degli studenti, offrendo risultati costanti anche con carichi di lavoro elevati. Questo è fondamentale per i gruppi impegnati nei test, i grandi distretti scolastici e le piattaforme di apprendimento online. Piotr Mitros, principale scienziato di edX, afferma:

«Le macchine non possono fornire feedback dettagliati. Gli studenti non sono sempre in grado di valutarsi bene a vicenda. Gli insegnanti si stancano e potrebbero commettere errori quando devono correggere troppi elaborati».

L’AI può aiutare le scuole a valutare gli studenti più spesso. Le scuole possono assegnare regolarmente esercizi di scrittura senza sovraccaricare gli insegnanti, consentendo agli studenti di ricevere un feedback rapido e fare più pratica. L’AI si occupa della valutazione, mentre gli insegnanti possono concentrarsi sull’insegnamento e sull’accompagnamento degli studenti, rendendo il lavoro più efficiente.

Per le scuole che svolgono numerosi test ogni anno, l’AI offre la velocità e l’affidabilità necessarie per mantenere standard uniformi e rispettare le scadenze, obiettivi che sarebbero molto difficili da raggiungere affidandosi esclusivamente alla valutazione umana.

L’impatto del feedback sull’apprendimento degli studenti

Il feedback influenza il modo in cui gli studenti migliorano la propria scrittura. Che provenga dall’AI o dagli esseri umani, il feedback incide sull’apprendimento. L’AI offre commenti rapidi e basati su regole. Gli esseri umani, invece, forniscono consigli personalizzati. La qualità del feedback determina i progressi degli studenti, unendo l’accuratezza alla necessità di un supporto personale. Queste differenze mostrano come ciascun metodo contribuisca allo sviluppo delle competenze di scrittura.

Feedback umano: dettagliato e personale

Quando il feedback viene fornito dalle persone, spesso è di alta qualità. Non è solo corretto, ma anche utile e incoraggiante. Gli insegnanti riescono a capire cosa intende uno studente, anche quando la scrittura non è perfetta. Gli studi dimostrano che il feedback umano è spesso migliore di quello dell’AI e aiuta gli studenti a capire sia cosa modificare sia perché sia importante farlo. Questo è particolarmente importante per gli studenti avanzati, perché il feedback umano li stimola e contribuisce a chiarire idee brevi o poco chiare. Anche il rapporto con gli insegnanti mantiene alta la motivazione degli studenti, soprattutto quando scrivere è difficile.

Feedback dell’AI: rapido e utile

I sistemi di AI eccellono nel fornire feedback immediati e basati su regole. In genere, l’AI ha ottenuto punteggi superiori di 0.24 punti rispetto agli esseri umani nelle valutazioni basate su criteri. È particolarmente efficace nell’individuare problemi tecnici come errori grammaticali, difetti strutturali ed errori nelle citazioni. Strumenti come Bypass Engine, per esempio, offrono funzioni quali il completamento automatico delle frasi, il miglioramento dei testi e controlli antiplagio avanzati. In questo modo, gli studenti possono ricevere un feedback immediato sull’originalità e sulla formattazione prima di consegnare il lavoro.

Uno studio del 2023 condotto da Hwang e colleghi ha rilevato che gli studenti universitari che imparavano l’inglese come lingua straniera (EFL) hanno migliorato la propria scrittura utilizzando uno strumento di feedback basato sull’AI. Questo strumento ha aiutato gli studenti a rivedere e modificare i propri testi fornendo feedback personalizzati. Tuttavia, l’AI non è perfetta. Ha difficoltà con i saggi di alta qualità, quindi gli scrittori più avanzati potrebbero non ricevere consigli dettagliati. Steve Graham, esperto di scrittura presso l’Arizona State University, ha osservato risultati contrastanti nell’uso del feedback dell’AI:

«È andato meglio di quanto mi aspettassi, perché non pensavo che sarebbe stato così valido. Non era sempre perfetto. Ma a volte era proprio quello che serviva».

Migliorare le competenze di scrittura nel tempo

Sia il feedback dell’AI sia quello umano contribuiscono a migliorare le competenze di scrittura con la pratica regolare. Ciascuno si concentra su aspetti diversi della scrittura, aiutando gli studenti a migliorare nel tempo. Il feedback dell’AI si adatta al modo in cui scrive ogni persona, offrendo suggerimenti rapidi che consentono di correggere gli errori e imparare in tempo reale. Poiché è sempre disponibile, gli studenti possono esercitarsi di più senza dover aspettare un insegnante.

All’Ivy Tech Community College, la tecnologia AI ha dimostrato la propria efficacia individuando in sole due settimane 16.000 studenti che avrebbero potuto incontrare difficoltà. Grazie a queste informazioni, il supporto tempestivo ha permesso al 98% di quegli studenti di ottenere almeno un voto C. Tuttavia, gli insegnanti mettono in guardia dall’affidarsi eccessivamente all’AI. Steve Graham teme che gli studenti possano utilizzare strumenti come ChatGPT non solo per ricevere consigli, ma anche per delegare a loro il processo di pensiero e di scrittura:

«La mia preoccupazione più grande è che diventi lui lo scrittore». Teme che gli studenti non usino ChatGPT soltanto per ricevere feedback, ma si affidino a esso per pensare, analizzare e scrivere. «Questo non fa bene all’apprendimento».

Combinare diversi tipi di feedback offre i risultati migliori. Gli studi dimostrano che unire i commenti dell’AI alla revisione umana rende il feedback più rapido e personalizzato. Questo equilibrio aiuta gli studenti a sviluppare competenze tecniche e capacità di pensiero critico, preparandoli al successo a lungo termine a scuola e nella vita.

Unire l’AI alla valutazione umana permette di sfruttare i punti di forza di entrambe. L’AI è eccellente nell’individuare i dettagli tecnici, come grammatica e struttura. Gli esseri umani, invece, offrono una comprensione approfondita dei temi e del contesto. Insieme, creano un sistema di valutazione equilibrato, efficiente e completo.

Utilizzando entrambi gli approcci, l’AI si occupa delle attività ripetitive, come il controllo della grammatica, mentre gli insegnanti forniscono feedback personalizzati e valutazioni dettagliate. Questa combinazione affronta i limiti dell’AI in termini di creatività e sfumature, oltre agli errori occasionali dovuti alla stanchezza o ai pregiudizi umani.

Quando l’AI interviene come valutatore iniziale, la collaborazione dà il meglio di sé. L’AI offre rapidamente indicazioni sulle prime bozze, individuando i problemi tecnici. Questo incoraggia gli studenti a perfezionare la propria scrittura. Gli insegnanti possono quindi concentrarsi sullo sviluppo di competenze come il pensiero critico e la creatività. Tamara Tate della UC Irvine osserva:

«Molti studenti saltano la fase di revisione. Convincerli a tornare sul proprio lavoro è già una vittoria».

Strumenti come Bypass Engine dimostrano come questa collaborazione possa funzionare. Offrono funzioni come il completamento automatico delle frasi, il miglioramento del testo e il controllo del plagio. Queste piattaforme si occupano delle verifiche tecniche, permettendo agli insegnanti di concentrarsi sullo sviluppo delle capacità analitiche e di pensiero critico degli studenti.

I dati mostrano inoltre i vantaggi di questa strategia. Sebbene i sistemi di AI forniscano risultati costanti, i valutatori umani ottengono risultati migliori in aree come la profondità analitica (4.2 su 5 per gli esseri umani rispetto a 3.1 per l’AI) e l’originalità delle intuizioni (3.9 su 5 per gli esseri umani rispetto a 2.7 per l’AI).

Il futuro della valutazione dei temi risiede in questo approccio equilibrato. L’efficienza dell’AI completa l’intuizione umana, creando un sistema non solo accurato e coerente, ma anche significativo per il percorso di apprendimento degli studenti.

Domande frequenti

In che modo combinare l’AI con il lavoro umano migliora la valutazione dei temi?

Unire l’AI alle capacità umane migliora la valutazione dei temi, sfruttando sia la tecnologia sia il giudizio umano. L’AI è rapida e precisa e fornisce feedback immediati su aspetti come grammatica e struttura. Verifica quanto un tema rispetti le regole senza lasciarsi influenzare da pregiudizi.

Gli esseri umani, invece, comprendono meglio il contesto. Valutano la creatività, il tono e le idee complesse, aspetti difficili da giudicare per l’AI. Insieme, l’AI gestisce le parti semplici e ripetitive, lasciando agli esseri umani gli aspetti più complessi. Questa collaborazione non solo rende la valutazione più accurata, ma offre anche agli studenti un feedback utile per migliorare la propria scrittura.

Quali sono i principali pregiudizi e limiti dell’AI nella valutazione dei temi e come possiamo correggerli?

I sistemi di AI che valutano i temi non sono infallibili. Possono presentare pregiudizi e limiti che influenzano la qualità della valutazione del lavoro degli studenti. Ad esempio, i pregiudizi demografici possono portare a voti ingiusti basati sulle origini di uno studente, contribuendo potenzialmente ad aumentare le disuguaglianze educative. Inoltre, questi sistemi spesso faticano a distinguere tra temi ben scritti e temi scritti male, producendo voti che non riflettono davvero le competenze dello studente.

Per affrontare questi problemi, possiamo adottare un approccio con supervisione umana. In questo modo, gli insegnanti esaminano e correggono i punteggi dell’AI per assicurarsi che siano equi e accurati. Inoltre, aggiornando costantemente gli algoritmi, gli sviluppatori possono ridurre i pregiudizi e aiutare il sistema a valutare meglio i temi.

In che modo la valutazione dei temi tramite AI cambia il modo in cui insegnanti e studenti apprendono?

La valutazione dei temi tramite AI può trasformare l’insegnamento e l’apprendimento, semplificando la correzione e rendendo il feedback più personalizzato. Per gli insegnanti, significa risparmiare tempo nella valutazione e poter guidare meglio gli studenti, offrendo un supporto più personalizzato. Per gli studenti, significa ricevere feedback più rapidamente, cosa che può incoraggiarli a scrivere più spesso e a migliorare le proprie competenze nel tempo.

Tuttavia, affidarsi troppo all’AI potrebbe rendere difficile per gli insegnanti cogliere i progressi o le difficoltà specifiche di uno studente. Per trovare il giusto equilibrio, l’AI dovrebbe aiutare gli insegnanti, non sostituirli. Questa collaborazione mantiene solide le relazioni personali e garantisce agli studenti il supporto di cui hanno bisogno per crescere.