La IA y las personas puntúan los ensayos de forma diferente. Cada una tiene ventajas y desventajas. Aquí tienes un breve resumen:
-La IA es rápida, constante y revisa bien la gramática. Puede calificar muchos ensayos rápidamente, mantener criterios uniformes y detectar errores gramaticales y estructurales.
-Las personas entienden mejor el contexto, el tono y la creatividad. Pueden captar ideas complejas, matices culturales y originalidad, y ofrecer comentarios personalizados.
-La IA es económica y funciona bien para evaluaciones a gran escala, pero la puntuación humana puede ser subjetiva y verse afectada por el cansancio o los prejuicios.
-¿El mejor enfoque? Usar ambas opciones. La IA se encarga de las tareas repetitivas, mientras que las personas ofrecen comentarios detallados y matizados.
Comparación rápida
| Aspecto | Puntuación de la IA | Puntuación humana |
| Precisión | Sobresaliente en gramática y estructura | Sobresaliente en creatividad y matices |
| Coherencia | Más del 80% de coherencia consigo misma | 43% de coherencia consigo misma |
| Velocidad | Tarda segundos por ensayo | Tarda horas con grandes volúmenes |
| Escalabilidad | Fácilmente escalable | Limitada por la capacidad humana |
| Comprensión del contexto | Limitada | Excelente |
| Coste | Bajo después de la configuración inicial | Alto para calificaciones a gran escala |
La puntuación de la IA y la humana funcionan mejor juntas, ya que combinan eficiencia y profundidad para mejorar la evaluación de ensayos y el aprendizaje de los estudiantes.
Precisión en la puntuación: IA frente al criterio humano
A la hora de puntuar, la IA y las personas tienen fortalezas únicas. Los estudios revelan que las personas solo coinciden con precisión la mitad de las veces. La precisión de la IA varía según el tipo de evaluación. Exploremos las fortalezas y limitaciones de ambos métodos.
Capacidades humanas: comprensión del contexto y los matices
Las personas son buenas para captar los aspectos más profundos de la escritura de los estudiantes. Perciben ideas complejas, detectan cambios sutiles en el tono y entienden matices culturales que la IA podría pasar por alto. Esta capacidad les permite reconocer la creatividad y las ideas novedosas en los trabajos de los estudiantes, ayudándoles a valorar el pensamiento ingenioso.
Además, las personas destacan a la hora de comprender el contexto, aplicar sus conocimientos y valorar los temas coherentes. Estas capacidades les ayudan a reconocer argumentos inteligentes o enfoques únicos que tienen sentido. Sin embargo, la puntuación humana se enfrenta a obstáculos, como la falta de formación, el cansancio y los prejuicios, que a veces pueden afectar a su fiabilidad.
Fortalezas de la IA: coherencia y precisión
Los sistemas de IA destacan por ofrecer evaluaciones coherentes y basadas en reglas. Son especialmente hábiles para revisar la gramática, la ortografía, la estructura de las frases, la relevancia y los detalles de apoyo. Al aplicar los mismos criterios en cada ocasión, la IA evita los sesgos personales que pueden tener los evaluadores humanos.
El método de la IA, basado en datos, le permite detectar con gran precisión errores gramaticales, problemas estructurales y fallos de formato; errores que podrían pasarse por alto durante largas sesiones de evaluación. La IA también es más coherente, con niveles de coincidencia de entre el 59% y el 82% en distintos intentos, mientras que los evaluadores humanos alcanzan aproximadamente el 43%.
Sin embargo, a la IA le cuesta comprender el contexto, el tono y los matices de las respuestas de los estudiantes. Es posible que no detecte errores de organización ni reconozca métodos únicos pero eficaces.
Comparación de la precisión
Examinemos cómo se comparan las evaluaciones de la IA y de las personas en distintos aspectos:
| Aspecto de la evaluación | Precisión de la IA | Precisión humana | Diferencias principales |
| Concordancia general | La IA coincide con las personas el 40% de las veces | Las personas coinciden el 50% de las veces | La IA suele dar puntuaciones intermedias (de 2 a 5 en una escala de 6 puntos) |
| Gramática y mecánica | La IA tiene una precisión del 85–98% | La precisión humana varía según el cansancio | La IA es mejor para corregir errores sujetos a reglas |
| Preguntas de ensayo | La IA tiene una precisión del 80–90% | La evaluación humana varía debido a la subjetividad | Las personas son mejores en las evaluaciones subjetivas |
| Escritura creativa | La capacidad de reconocimiento de la IA es limitada | Las personas tienen una gran capacidad de apreciación | A la IA le cuesta identificar la originalidad |
| Comprensión del contexto | La IA tiene un rendimiento deficiente | Las personas destacan en la interpretación | Las personas comprenden mejor los matices culturales |
Las investigaciones sobre ChatGPT arrojan luz sobre su dinámica de evaluación. En un estudio, las puntuaciones de los ensayos de ChatGPT estuvieron a un punto o menos de las de los evaluadores humanos el 89% de las veces. Sin embargo, al probar distintos tipos de ensayo, esta cifra bajó al 76%. En una escala del 1 al 6, las puntuaciones de ChatGPT fueron, de media, 0.9 puntos inferiores a las evaluaciones humanas. También mostró un posible sesgo, al otorgar puntuaciones más bajas a los ensayos de estudiantes asiáticos o isleños del Pacífico que los evaluadores humanos.
Si tenemos en cuenta la precisión, las fortalezas de la IA y de la evaluación humana destacan en determinadas situaciones. La IA sobresale en las evaluaciones objetivas con criterios claros, mientras que los evaluadores humanos son mejores en las evaluaciones subjetivas que requieren comprensión del contexto y un juicio matizado.
Coherencia en la evaluación
Evaluar muchos ensayos de la misma manera es difícil. Comparar la IA con los evaluadores humanos muestra diferencias claras. La precisión indica si cada ensayo recibe la puntuación correcta. La coherencia determina si se aplican las mismas reglas a lo largo del tiempo y en distintos trabajos. Veamos qué dificulta la evaluación para las personas y cómo la IA resuelve estos problemas.
Desafíos de la evaluación humana: cansancio y diferencias personales
A las personas que evalúan ensayos a menudo les cuesta mantener la imparcialidad, especialmente cuando tienen muchos que leer. El cansancio es una de las principales causas de esta falta de imparcialidad. Los estudios demuestran que, cuando los evaluadores se aburren, tienden a otorgar puntuaciones más bajas. Incluso los profesores con mucha experiencia pueden dar puntuaciones diferentes al mismo ensayo porque perciben las cosas de manera distinta o tienen sesgos inconscientes. Factores como la claridad de la letra o el dominio del inglés de un estudiante pueden cambiar las puntuaciones accidentalmente y hacer que sean menos fiables.
El uso de rúbricas puede ayudar a que la evaluación sea más coherente, mejorándola de aproximadamente un 30% hasta un 90%. Sin embargo, incluso con rúbricas, los evaluadores pueden cansarse y tomar decisiones subjetivas. A diferencia de las personas, los sistemas de IA no afrontan estos problemas, por lo que ofrecen una forma más estable de evaluar.
La ventaja de la IA: estándares coherentes en todo momento
Los sistemas de IA, como GPT-4, tienen una gran ventaja a la hora de mantener la coherencia de las puntuaciones. Con una coherencia interna superior al 80%, GPT-4 supera ampliamente a los evaluadores humanos, que solo alcanzan un 43% de coherencia. A diferencia de las personas, la IA no se cansa ni pierde la concentración, lo que garantiza que un ensayo evaluado por la mañana reciba la misma puntuación que uno revisado más tarde. Incluso GPT-3.5, algo menos estable, alcanza entre un 59% y un 82%, según la configuración.
La IA también destaca por seguir las rúbricas, lo que mantiene la uniformidad de la evaluación en un gran número de ensayos. Esto hace que la IA sea especialmente útil para gestionar evaluaciones a gran escala en las que la coherencia es fundamental.
Comparación de los datos de fiabilidad
El gráfico siguiente muestra la variación en la coherencia con la que evalúan las personas y los sistemas de IA:
| Método de evaluación | Porcentaje de coherencia interna | Puntuación kappa |
| Evaluadores humanos | 43 % de coincidencia exacta | 0.73–0.79 |
| GPT-4 (temperatura baja) | Más del 80 % de coincidencia exacta | 0.84–0.88 |
| GPT-4 (temperatura alta) | Más del 80 % de coincidencia exacta | 0.76–0.80 |
| GPT-3.5 (temperatura baja) | Aproximadamente un 60 % de coincidencia exacta | 0.59–0.63 |
| GPT-3.5 (temperatura alta) | Aproximadamente un 60 % de coincidencia exacta | 0.46–0.74 |
Los datos indican claramente que los sistemas de IA, como GPT-4, muestran una mayor coherencia interna que los evaluadores humanos. Sin embargo, es importante señalar que, cuando se comparan directamente con las calificaciones humanas, los evaluadores humanos suelen coincidir más entre sí que la IA. Esto implica que, aunque la IA es buena aplicando sus propios criterios de forma coherente, esos criterios podrían no coincidir con las preferencias humanas.
Uno de los principales problemas de la evaluación humana es la falta de coherencia entre los distintos evaluadores. La calificación de un estudiante puede cambiar mucho según quién corrija su trabajo, lo que plantea dudas sobre la equidad en situaciones de evaluación importantes. En cambio, los sistemas de IA ofrecen una forma más estable y coherente de calificar, reduciendo estas diferencias. No obstante, es necesario investigar más las diferencias entre los criterios de evaluación de la IA y los humanos.
Comparación de velocidad y escala
La IA analiza los ensayos en pocos segundos, a diferencia de las largas horas que necesitan las personas. Este cambio está transformando la forma en que las escuelas y los organismos de evaluación gestionan la corrección de numerosos trabajos estudiantiles.
Velocidad al calificar ensayos
Piénsalo: un profesor que corrigiera ensayos de seis clases con 25 estudiantes cada una podría necesitar 50 horas para completar la tarea. En cambio, la IA puede hacerlo en cuestión de minutos. Por ejemplo, las herramientas avanzadas de IA pueden asignar una calificación en 2 segundos o menos. Herramientas como EssayGrader incluso podrían corregir los ensayos de toda una clase en menos de 2 minutos.
Algunos sistemas, como el software AES, son extremadamente eficientes y pueden corregir 16.000 ensayos en tan solo 20 segundos. Esto reduce el tiempo de corrección en un 80 % frente a los métodos humanos tradicionales. En las pruebas estandarizadas, donde es necesario corregir muchos ensayos rápidamente, esta velocidad ayuda a cumplir los plazos sin alterar el proceso.
Kwame Anthony Appiah, profesor de la Universidad de Nueva York, afirma que el tiempo ahorrado al evaluar trabajos podría aprovecharse mejor para otros fines, especialmente aquellos que beneficien a los estudiantes. Sostiene: «Usar la IA de una forma que ayude realmente a los estudiantes no es hipócrita.»
Este aumento de velocidad no solo ahorra tiempo; también reduce considerablemente los costes, lo que facilita la gestión de evaluaciones a gran escala.
Análisis de costes
Corregir ensayos manualmente requiere personal capacitado, planificación y controles de calidad, lo que aumenta los costes a medida que llegan más trabajos. En cambio, los sistemas de IA mantienen unos costes estables una vez configurados, independientemente del número de ensayos que revisen. Estos sistemas pueden procesar grandes cantidades de trabajos sin aumentar los costes.
Esta ventaja en costes resulta especialmente útil para las pruebas a gran escala, las evaluaciones de centros educativos completos y las clases universitarias numerosas, en las que recurrir a personas sería muy caro. Al reducir el tiempo de corrección, la IA permite que los profesores se concentren en lo que realmente importa: enseñar y ofrecer atención individual a los estudiantes. Esto puede aumentar la satisfacción laboral del profesorado y aliviar las largas horas dedicadas a corregir, ayudando a prevenir el agotamiento.
Gestión de grandes volúmenes
Además de la velocidad y el coste, la IA destaca por su capacidad de escalar. Su facilidad para ampliar el volumen de trabajo la hace indispensable en grandes entornos educativos. Los evaluadores humanos se cansan y cometen más errores durante las sesiones largas de corrección. La IA, en cambio, mantiene el mismo criterio, ya sea con el primer ensayo o con el número diez mil.
IntelliMetric analiza más de 400 aspectos de la escritura de los estudiantes y ofrece resultados uniformes incluso con grandes volúmenes de trabajo. Esto es fundamental para los grupos de evaluación, las grandes redes escolares y las plataformas de aprendizaje en línea. Piotr Mitros, científico principal de edX, afirma:
«Las máquinas no pueden ofrecer comentarios detallados. Los estudiantes no siempre saben evaluarse bien entre sí. Los profesores se cansan y pueden cometer errores cuando tienen demasiados trabajos que corregir.»
La IA puede ayudar a las escuelas a evaluar a los estudiantes con mayor frecuencia. Los centros pueden proponer actividades de escritura periódicas sin sobrecargar al profesorado, lo que permite a los estudiantes recibir comentarios rápidos y practicar más. La IA se encarga de la corrección, mientras los profesores pueden centrarse en enseñar y orientar a los estudiantes, haciendo que el trabajo sea más eficiente.
En las escuelas que realizan muchas evaluaciones al año, la IA ofrece la velocidad y fiabilidad necesarias para mantener unos estándares uniformes y cumplir los plazos, algo que sería muy difícil conseguir recurriendo únicamente a la evaluación humana.
El impacto de los comentarios en el aprendizaje de los estudiantes
Los comentarios influyen en la forma en que los estudiantes mejoran su escritura. Ya provengan de la IA o de personas, afectan al aprendizaje. La IA ofrece comentarios rápidos basados en reglas. En cambio, las personas proporcionan consejos adaptados a cada estudiante. La calidad de los comentarios determina cómo progresan los estudiantes, combinando la precisión con la necesidad de recibir ayuda personalizada. Estas diferencias muestran cómo cada método contribuye al desarrollo de las habilidades de escritura.
Comentarios humanos: detallados y personalizados
Cuando las personas ofrecen comentarios, lo hacen de manera eficaz. No solo son correctos, sino también útiles y amables. Los profesores pueden comprender lo que un estudiante quiere decir, aunque su redacción no sea perfecta. Los estudios demuestran que los comentarios humanos suelen ser mejores que los de la IA, ya que ayudan a los estudiantes a entender tanto qué deben cambiar como por qué es importante. Esto resulta especialmente relevante para los estudiantes avanzados, porque los comentarios humanos los desafían y ayudan a aclarar ideas breves o poco claras. Además, el vínculo con los profesores mantiene la motivación de los estudiantes, sobre todo cuando escribir resulta difícil.
Comentarios de la IA: rápidos y útiles
Los sistemas de IA destacan a la hora de ofrecer comentarios inmediatos basados en reglas. Por lo general, la IA obtuvo 0,24 puntos más que los humanos en evaluaciones basadas en criterios. Es especialmente eficaz para detectar problemas técnicos, como errores gramaticales, fallos estructurales y errores en las citas. Herramientas como Bypass Engine, por ejemplo, ofrecen funciones como la autocompletación de frases, la mejora de textos y comprobaciones avanzadas de plagio. Esto permite a los estudiantes recibir comentarios instantáneos sobre la originalidad y el formato antes de entregar sus trabajos.
Un estudio realizado en 2023 por Hwang y sus colaboradores descubrió que los estudiantes universitarios que aprendían inglés como lengua extranjera (EFL) mejoraron su escritura utilizando una herramienta de comentarios basada en IA. Esta herramienta ayudó a los estudiantes a revisar y editar sus textos mediante comentarios personalizados. Sin embargo, la IA no es perfecta. Tiene dificultades con los ensayos de alta calidad, por lo que los escritores avanzados podrían perderse consejos detallados. Steve Graham, experto en escritura de la Universidad Estatal de Arizona, señaló que los resultados de los comentarios de la IA fueron variados:
«Fue mejor de lo que esperaba, porque no pensaba que fuera tan buena. No siempre acertaba del todo. Pero a veces daba justo en el clavo.»
Mejora de las habilidades de escritura con el tiempo
Tanto los comentarios de la IA como los humanos ayudan a mejorar las habilidades de escritura mediante la práctica habitual. Cada uno se centra en aspectos diferentes de la escritura, ayudando a los estudiantes a mejorar con el tiempo. Los comentarios de la IA se adaptan a la forma de escribir de cada persona y ofrecen consejos rápidos que permiten corregir y aprender en tiempo real. Como está siempre disponible, los estudiantes pueden practicar más sin tener que esperar a un profesor.
En Ivy Tech Community College, la tecnología de IA demostró su eficacia al identificar en tan solo dos semanas a 16.000 estudiantes que podrían tener dificultades. Gracias a esta información, la ayuda temprana permitió que el 98 % de esos estudiantes obtuviera al menos una calificación C. Aun así, los profesores advierten sobre los riesgos de depender demasiado de la IA. A Steve Graham le preocupa que los estudiantes utilicen herramientas como ChatGPT no solo para recibir consejos, sino también para que piensen y escriban por ellos:
«Mi mayor preocupación es que se convierta en el escritor. Teme que los estudiantes no utilicen ChatGPT solo para recibir comentarios, sino que dependan de él para pensar, analizar y escribir. Eso no es bueno para el aprendizaje.»
Combinar distintos tipos de comentarios ofrece los mejores resultados. Los estudios indican que mezclar los comentarios de la IA con la revisión humana hace que las sugerencias sean más rápidas y personalizadas. Este equilibrio ayuda a los estudiantes a desarrollar sus habilidades técnicas y su pensamiento crítico, preparándolos para alcanzar el éxito a largo plazo en la escuela y en la vida.
Combinar la IA con la evaluación humana permite aprovechar lo mejor de ambas. La IA es excelente para detectar detalles técnicos, como la gramática y la estructura. Sin embargo, las personas ofrecen una comprensión más profunda de los temas y el contexto. Juntas, crean un sistema de evaluación equilibrado, eficiente y exhaustivo.
Al utilizar ambas opciones, la IA se encarga de tareas repetitivas, como revisar la gramática, mientras los profesores proporcionan comentarios personalizados y evaluaciones detalladas. Esta combinación aborda las limitaciones de la IA en cuanto a creatividad y matices, así como los errores ocasionales causados por el cansancio o los sesgos humanos.
Cuando la IA actúa como evaluadora inicial, el trabajo en equipo da excelentes resultados. La IA ofrece rápidamente observaciones sobre los primeros borradores y detecta errores técnicos. Esto anima a los estudiantes a perfeccionar sus textos. Después, los profesores pueden centrarse en desarrollar habilidades como el pensamiento crítico y la creatividad. Tamara Tate, de UC Irvine, señala:
«Muchos estudiantes se saltan las revisiones. Conseguir que vuelvan a revisar su trabajo ya es una victoria.»
Herramientas como Bypass Engine demuestran cómo puede funcionar este trabajo en equipo. Ofrecen funciones como el autocompletado de frases, la mejora de textos y la detección de plagio. Estas plataformas se encargan de las revisiones técnicas, lo que permite a los profesores centrarse en desarrollar las habilidades analíticas y de pensamiento crítico de los estudiantes.
Los datos también muestran las ventajas de esta estrategia. Aunque los sistemas de IA ofrecen resultados constantes, los evaluadores humanos obtienen mejores resultados en aspectos como la profundidad analítica (4.2 de 5 para las personas frente a 3.1 para la IA) y la originalidad de las ideas (3.9 de 5 para las personas frente a 2.7 para la IA).
El futuro de la evaluación de ensayos está en este enfoque equilibrado. La eficiencia de la IA complementa la comprensión humana y crea un sistema que no solo es preciso y coherente, sino también significativo para el progreso del aprendizaje de los estudiantes.
Preguntas frecuentes
¿Cómo mejora la combinación de la IA con las personas la evaluación de ensayos?
Mezclar la IA con la evaluación humana mejora la corrección de ensayos al combinar la tecnología con el criterio de las personas. La IA es rápida y precisa, y ofrece comentarios inmediatos sobre aspectos como la gramática y la estructura. Comprueba hasta qué punto un ensayo cumple las normas sin sesgos.
Por otro lado, las personas comprenden mejor el contexto. Evalúan la creatividad, el tono y las ideas complejas, aspectos que a la IA le cuesta juzgar. Juntas, ambas opciones permiten que la IA se encargue de las partes sencillas y repetitivas, mientras las personas se centran en los aspectos más difíciles. Este trabajo en equipo no solo hace que la evaluación sea más precisa, sino que también proporciona a los estudiantes comentarios que les ayudan a mejorar su escritura.
¿Cuáles son los principales sesgos y limitaciones de la IA al evaluar ensayos y cómo podemos solucionarlos?
Los sistemas de IA que evalúan ensayos no son infalibles. Pueden presentar sesgos y limitaciones que afectan a la calidad con la que valoran el trabajo de los estudiantes. Por ejemplo, los sesgos demográficos pueden dar lugar a calificaciones injustas basadas en el origen de un estudiante, lo que podría aumentar la desigualdad educativa. Además, estos sistemas suelen tener dificultades para distinguir entre ensayos bien y mal escritos, lo que produce calificaciones que no reflejan realmente las habilidades del estudiante.
Para abordar estos problemas, podemos utilizar un método con supervisión humana. En este enfoque, los profesores revisan y ajustan las calificaciones de la IA para asegurarse de que sean justas y precisas. Además, al actualizar constantemente los algoritmos, los desarrolladores pueden reducir los sesgos y ayudar al sistema a evaluar mejor los ensayos.
¿Cómo cambia la evaluación de ensayos mediante IA la forma en que aprenden profesores y estudiantes?
La evaluación de ensayos mediante IA puede transformar la enseñanza y el aprendizaje al facilitar la corrección y ofrecer comentarios más personalizados. Para los profesores, ahorra tiempo al corregir, lo que les permite orientar mejor a los estudiantes y brindarles una ayuda más individualizada. Para los estudiantes, significa recibir comentarios más rápido, lo que puede animarlos a escribir con mayor frecuencia y mejorar sus habilidades con el tiempo.
Sin embargo, depender demasiado de la IA puede dificultar que los profesores perciban el progreso o las dificultades particulares de cada estudiante. Para encontrar el equilibrio adecuado, la IA debe ayudar a los profesores, no sustituirlos. Este trabajo en equipo mantiene fuertes las relaciones personales y garantiza que los estudiantes reciban el apoyo que necesitan para crecer.
