A medida que la IA mejora, es importante saber si las personas pueden reconocer cuándo un texto ha sido creado por IA. Analizamos seis estudios diferentes para descubrirlo.
¿Pueden las personas saber si un texto ha sido creado por IA?
Algunas creen que sí, pero otras confían en herramientas como Bypass Engine.
Dado el gran impacto de detectar —o no detectar— textos de IA, es fundamental saber si las personas pueden reconocer la escritura generada por IA. Para analizarlo, revisamos seis estudios diferentes.
Puntos principales (versión breve)
- Aunque confían en sus capacidades, a las personas a menudo les cuesta detectar textos creados por IA.
- Los detectores de IA son mucho más eficaces que las personas para encontrar textos generados por IA.
- No detectar textos de IA puede provocar problemas como la desinformación, las trampas académicas y el contenido falso en internet.
¿Pueden las personas detectar textos escritos por IA? 6 estudios en detalle
Aunque muchas personas están seguras de sí mismas, por lo general les resulta difícil detectar palabras escritas por IA. Nuestro análisis de términos habituales relacionados con ChatGPT demostró que identificar ChatGPT es más complicado de lo esperado.
Para profundizar en este tema, analizamos seis estudios de otros autores sobre la capacidad de las personas para detectar textos escritos por IA.
1. ¿Pueden los docentes reconocer la IA? Un análisis de la capacidad de los docentes para detectar textos escritos por IA en los ensayos de los estudiantes.
Resumen del estudio
Este estudio, disponible en ScienceDirect, analiza la capacidad de los docentes para detectar contenido creado por IA.
A medida que la IA mejora, es crucial detectar los textos escritos por IA en el ámbito educativo. Por eso, los investigadores realizaron pruebas para descubrir si los profesores podían distinguir entre textos escritos por IA y textos escritos por personas.
El estudio contó con dos grupos de participantes:
Estudio 1 (los participantes eran futuros profesores)
«Los futuros profesores identificaron correctamente solo el 45.1% de los textos escritos por IA y el 53.7% de los textos escritos por estudiantes.»
Estudio 2 (los participantes eran profesores con experiencia)
“Solo reconocieron correctamente el 37.8% de los textos generados por IA, pero identificaron correctamente el 73.0% de los textos escritos por estudiantes.”
Puntos principales:
- A los participantes les costó distinguir de forma constante entre el contenido escrito por IA y el escrito por personas.
- Los futuros profesores solo acertaron con el 45.1% de los textos generados por IA.
- Los profesores con experiencia identificaron correctamente apenas el 37.8% de los textos generados por IA.
- Incluso cuando los participantes estaban seguros de su respuesta, a menudo se equivocaban, lo que demuestra que sobreestimaban su capacidad para detectar textos escritos por IA.
Conclusión:
Estos resultados sugieren que a los profesores les resulta difícil distinguir los trabajos generados por IA de los escritos por personas sin la ayuda de herramientas avanzadas de detección de IA.
Estudio: ¿Pueden los profesores detectar la IA? Comprobación de la capacidad de los profesores para reconocer textos generados por IA en ensayos de estudiantes.
2. No todo lo «humano» es oro: evaluación humana de textos generados por IA
Resumen del estudio
En un estudio disponible en la Universidad de Cornell, los investigadores analizaron hasta qué punto las personas pueden distinguir si algo está escrito por IA o por seres humanos.
Analizaron historias, artículos de noticias y recetas.
Para el estudio, analizaron 255 historias de redes sociales. De ellas, seleccionaron 50 historias escritas por personas. También crearon otras 50 historias mediante indicaciones.
Revisaron 2,111 artículos de noticias de 15 medios de comunicación. De ellos, seleccionaron 50 artículos. Después, generaron otros 50 artículos a partir de indicaciones.
Incluyeron 50 recetas escritas por personas del conjunto de datos RecipeNLG, junto con otras 50 recetas creadas a partir de indicaciones.
Resultados principales
Los resultados mostraron que a menudo a las personas les costaba detectar el contenido generado por IA.
Las personas acertaron el 57.9% de las veces al comparar textos de GPT2 con textos escritos por personas, una cifra que se redondeó al 58% en la tabla del estudio.
En el caso de GPT3, su precisión fue del 49.9%, redondeada al 50%.
Incluso cuando los participantes recibieron cierta formación para detectar contenido generado por IA antes de la prueba, sus resultados solo mejoraron ligeramente, y no demasiado.
Los resultados indican que a las personas les cuesta reconocer los textos creados por IA, incluso cuando han recibido formación previa para hacerlo.
Descubre qué precisión tienen los detectores de IA a partir de un metaanálisis realizado por investigadores independientes que examinaron estudios sobre la precisión de la detección de IA.
Investigación: No todo lo «humano» brilla: evaluación del criterio humano sobre textos generados
3. Estudio: A las personas les cuesta distinguir GPT-4 de un ser humano
Resumen de la investigación
Esta investigación, compartida por la Universidad de Cornell, revela hasta qué punto las personas pueden detectar textos creados por IA, incluidos tres modelos: GPT-4, GPT-3.5 y ELIZA.
El estudio pretendía comprobar si las personas podían reconocer contenido escrito por IA. Participaron 500 personas, que utilizaron un «juego» similar a una aplicación de chat para poner a prueba sus habilidades.
El estudio también analizó si tener conocimientos sobre IA o estar familiarizado con los modelos de lenguaje de gran escala (LLM) influía en el desempeño de los participantes.
Descubrimientos principales
- Al igual que en estudios anteriores, la investigación indica que, en su mayoría, las personas no podían distinguir los textos escritos por IA de los escritos por seres humanos.
- El texto escrito por personas se identificó correctamente como humano el 67% de las veces.
- GPT-4 se consideró erróneamente humano el 54% de las veces.
- ELIZA se confundió con un texto escrito por una persona el 22% de las veces.
- En cuanto al conocimiento sobre los LLM, esta familiaridad influyó ligeramente en la precisión de las personas.
- Curiosamente, la edad fue el factor que más influyó en la precisión.
- Por lo general, las personas más jóvenes identificaron mejor los modelos de IA que las personas mayores.
Resumen
A menudo, las personas no pueden saber si un texto ha sido generado por IA, incluso cuando conocen el tema.
¿Quieres saber más sobre cómo detectar contenido generado por IA? Consulta la reseña sobre la precisión del detector de contenido de Bypass Engine.
Estudio: las personas no pueden distinguir GPT-4 de una persona en una prueba de Turing.
4. ¿Puedes saber si es un bot? Cómo identificar textos generados por IA en ensayos universitarios
Resumen del estudio
La revista International Journal for Educational Integrity analizó detenidamente cómo detectar textos generados por IA en trabajos académicos. Su objetivo era averiguar si las personas podían distinguir entre ensayos escritos por IA y ensayos escritos por humanos.
En el estudio participaron 140 profesores universitarios y 145 estudiantes universitarios. Cada persona recibió un ensayo escrito por un estudiante y otro generado por IA. Tenían que decidir cuál había sido creado por IA y cuál había escrito un estudiante.
Conclusiones clave
- A los participantes les costó distinguir los ensayos escritos por IA.
- Los profesores universitarios acertaron el 70% de las veces con ChatGPT.
- Los estudiantes acertaron el 60% de las veces con ChatGPT.
Conclusión
Tanto a los profesores como a los estudiantes les cuesta detectar la IA en los trabajos académicos.
Estudio: ¿Detectar al bot? Cómo identificar la IA en los ensayos universitarios
5. A los revisores les cuesta detectar resúmenes generados por ChatGPT en cirugía de hombro y codo
Descripción general
Este estudio, publicado en Arthroscopy: The Journal of Arthroscopic & Related Surgery, analiza hasta qué punto los revisores pueden identificar resúmenes creados por ChatGPT.
En el estudio, los participantes recibieron una combinación de resúmenes: algunos generados por IA y otros por personas. Tenían que decidir cuáles creían que habían sido generados por IA.
Resultados principales
Los revisores identificaron correctamente el contenido generado por IA el 62% de las veces. Sin embargo, el 38% de las veces pensaron erróneamente que los resúmenes escritos por personas habían sido generados por IA. Esto demuestra que no basta con basarse únicamente en el criterio humano y que son necesarios otros métodos de detección de IA.
Conclusión
Este estudio, al igual que otros, demuestra que a las personas les resulta difícil detectar contenido generado por IA.
6. ¿Puede ChatGPT superar al sistema? Comparación de declaraciones personales generadas por IA y por humanos en solicitudes de residencia de cirugía plástica
Resumen del estudio
Este estudio procede de la Canadian Society of Plastic Surgeons. Analiza el contenido de las solicitudes de residencia médica, un ámbito muy especializado.
En este estudio participaron dos cirujanos que se habían jubilado recientemente después de trabajar durante 20 años con el Canadian Residency Matching Service (CaRMS). Tuvieron que revisar 11 solicitudes escritas por IA y 11 escritas por personas. Su tarea consistía en determinar cuáles habían sido creadas por ChatGPT-4 y cuáles habían sido escritas por humanos.
Principales conclusiones
El estudio concluyó que los evaluadores pudieron distinguir entre las solicitudes generadas por IA y las escritas por humanos el 65.9% de las veces. El artículo señaló que contar con un número reducido de muestras era una limitación, pero que la experiencia de los evaluadores suponía una ventaja importante.
Conclusión
Los resultados ponen de manifiesto que a las personas les cuesta detectar contenido generado por IA. Incluso a los expertos con más de 20 años de experiencia en solicitudes de residencia médica les resulta difícil distinguir entre solicitudes escritas por humanos y solicitudes generadas por IA.
Reflexiones finales
¿Pueden las personas detectar textos generados por IA? Estos estudios demuestran que no.
A veces las personas aciertan, pero por lo general les cuesta distinguir un texto generado por IA de uno escrito por una persona. Por eso, un buen detector de texto generado por IA resulta muy útil para obtener mayor claridad.
Preguntas frecuentes sobre la detección de IA
¿Pueden las personas detectar contenido generado por IA?
Por lo general, a las personas les cuesta reconocer cuándo un contenido ha sido creado por IA. Las investigaciones sugieren que la capacidad para detectarlo varía considerablemente.
¿Qué precisión tienen las herramientas de detección de IA?
La eficacia de estas herramientas varía según cuál utilices. El comprobador de IA de Bypass Engine afirma tener una precisión superior al 99%. Además, el modelo Turbo también presume de una precisión superior al 99% para detectar contenido generado por IA.
Para comparar herramientas de IA populares, quizá quieras consultar nuestra serie de reseñas sobre detectores de IA.
¿Qué ocurre si no podemos identificar el contenido generado por IA?
Esto podría causar grandes problemas, como difundir información falsa, hacer trampas en los estudios y perder la confianza en lo que leemos en internet.
