À mesure que l’IA s’améliore, il est important de savoir si les gens peuvent reconnaître un texte généré par l’IA. Nous avons examiné six études différentes pour en savoir plus.
Les gens peuvent-ils savoir si un texte a été généré par l’IA ?
Certains pensent en être capables, mais d’autres font confiance à des outils comme Bypass Engine.
Compte tenu des conséquences importantes liées au fait de repérer ou non un texte généré par l’IA, il est essentiel de savoir si les gens peuvent reconnaître une rédaction produite par l’IA. Pour approfondir la question, nous avons examiné six études différentes.
Points principaux (version courte)
- Même lorsqu’ils ont confiance en leurs compétences, les gens ont souvent du mal à repérer un texte généré par l’IA.
- Les détecteurs d’IA sont bien plus performants que les humains pour repérer les textes générés par l’IA.
- L’incapacité à repérer les textes générés par l’IA peut entraîner des problèmes comme la désinformation, la triche scolaire et les faux contenus en ligne.
Les gens peuvent-ils repérer un texte écrit par l’IA ? 6 études détaillées
Même si beaucoup de personnes se sentent sûres d’elles, elles ont généralement du mal à repérer les textes écrits par l’IA. Notre analyse des termes couramment associés à ChatGPT a montré qu’identifier ChatGPT est plus difficile que prévu.
Pour approfondir le sujet, nous allons examiner six études menées par d’autres chercheurs sur la capacité des gens à repérer les textes écrits par l’IA.
1. Les enseignants sont-ils capables de reconnaître l’IA ? Analyse de leur capacité à repérer les textes écrits par l’IA dans les dissertations d’élèves.
Résumé de l’étude
Cette étude, accessible sur ScienceDirect, examine la capacité des enseignants à repérer les contenus générés par l’IA.
À mesure que l’IA progresse, il devient essentiel de repérer les textes écrits par l’IA dans le domaine de l’éducation. Les chercheurs ont donc réalisé des tests pour déterminer si les enseignants pouvaient faire la différence entre un texte écrit par l’IA et un texte écrit par un humain.
L’étude comptait deux groupes de participants :
Étude 1 (les participants étaient de futurs enseignants)
« Les futurs enseignants n’ont correctement identifié que 45.1% des textes rédigés par l’IA et 53.7% de ceux rédigés par des étudiants. »
Étude 2 (les participants étaient des enseignants expérimentés)
« Ils n’ont correctement reconnu que 37,8 % des textes générés par l’IA, mais ont correctement identifié 73,0 % des textes écrits par des élèves. »
Points principaux :
- Les participants ont eu du mal à distinguer systématiquement les contenus écrits par l’IA de ceux écrits par des humains.
- Les futurs enseignants n’ont correctement identifié que 45,1 % des textes générés par l’IA.
- Les enseignants expérimentés n’ont correctement identifié que 37,8 % des textes générés par l’IA.
- Même lorsque les participants étaient sûrs d’eux, ils se trompaient souvent, ce qui montre qu’ils surestimaient leur capacité à repérer les textes générés par l’IA.
Conclusion :
Ces résultats suggèrent que les enseignants ont du mal à distinguer les travaux générés par l’IA de ceux écrits par des humains sans l’aide d’outils de détection de l’IA performants.
Étude : Les enseignants peuvent-ils détecter l’IA ? Évaluation de leur capacité à reconnaître les textes générés par l’IA dans les dissertations d’élèves.
2. Tout ce qui est « humain » n’est pas forcément de qualité : évaluer le jugement humain face aux textes générés par l’IA
Résumé de l’étude
Dans une étude disponible à l’Université Cornell, les chercheurs ont évalué la capacité des gens à déterminer si un texte avait été écrit par une IA ou par des humains.
Ils ont analysé des histoires, des articles d’actualité et des recettes.
Pour cette étude, ils ont examiné 255 histoires issues des réseaux sociaux. Parmi celles-ci, ils en ont sélectionné 50 écrites par des humains. Ils ont également créé 50 autres histoires à l’aide de prompts.
Ils ont examiné 2 111 articles d’actualité provenant de 15 médias. Parmi ceux-ci, ils ont sélectionné 50 articles. Ils en ont ensuite généré 50 autres à partir de prompts.
Ils ont inclus 50 recettes écrites par des humains issues du jeu de données RecipeNLG, ainsi que 50 autres recettes créées à partir de prompts.
Principaux résultats
Les résultats ont montré que les gens avaient souvent du mal à repérer les contenus générés par l’IA.
Les participants ont trouvé la bonne réponse dans 57,9 % des cas lorsqu’ils comparaient un texte généré par GPT2 à un texte écrit par un humain, un résultat arrondi à 58 % dans le tableau de l’étude.
Pour GPT3, leur taux de réussite était de 49,9 %, arrondi à 50 %.
Même lorsque les participants avaient reçu une formation pour repérer les contenus générés par l’IA avant le test, leurs résultats ne s’étaient que légèrement améliorés, et pas de manière significative.
Les résultats indiquent que les gens ont du mal à reconnaître les textes créés par l’IA, même lorsqu’ils ont été formés au préalable à cette tâche.
Découvrez la précision des détecteurs d’IA à partir d’une méta-analyse menée par des chercheurs indépendants qui ont examiné des études sur la précision de la détection de l’IA.
Recherche : Tout ce qui est « humain » ne brille pas : évaluation du jugement humain face aux textes générés
3. Étude : les gens ont du mal à distinguer GPT-4 d’un humain
Résumé de la recherche
Cette recherche, menée par l’Université Cornell, met en lumière la capacité des gens à repérer les textes générés par l’AI, notamment par trois modèles : GPT-4, GPT-3.5 et ELIZA.
L’étude visait à déterminer si les gens pouvaient reconnaître un contenu rédigé par l’AI. Elle a réuni 500 participants, qui ont utilisé un « jeu » similaire à une application de chat pour tester leurs capacités.
L’étude a également examiné si le fait de connaître l’AI ou d’être familiarisé avec les grands modèles de langage (LLM) influençait les résultats des participants.
Principales découvertes
- Comme les études précédentes, cette recherche montre que les gens ne parviennent généralement pas à distinguer les textes rédigés par l’AI de ceux écrits par des humains.
- Les textes humains ont été correctement identifiés comme tels dans 67 % des cas.
- GPT-4 a été pris à tort pour un humain dans 54 % des cas.
- ELIZA a été confondue avec un texte écrit par un humain dans 22 % des cas.
- En ce qui concerne la connaissance des LLM, cette familiarité a légèrement influencé la précision des participants.
- Fait intéressant, l’âge est le facteur qui a le plus influencé la précision.
- Les personnes plus jeunes étaient généralement plus douées pour identifier les modèles d’AI que les personnes plus âgées.
Résumé
Les humains ont souvent du mal à déterminer si un texte a été généré par l’AI, même lorsqu’ils connaissent le sujet.
Vous voulez en savoir plus sur la détection de l’AI ? Consultez l’analyse de la précision du détecteur de contenu de Bypass Engine.
Étude : les gens ne parviennent pas à distinguer GPT-4 d’une personne lors d’un test de Turing.
4. Saurez-vous reconnaître un bot ? Repérer les textes générés par l’AI dans les dissertations universitaires
Résumé de l’étude
L’International Journal for Educational Integrity s’est penché de près sur la détection des textes générés par l’AI dans les travaux scolaires. L’objectif était de déterminer si les lecteurs pouvaient distinguer les dissertations rédigées par l’AI de celles écrites par des humains.
L’étude a réuni 140 enseignants et 145 étudiants de l’enseignement supérieur. Chaque participant a reçu une dissertation écrite par un étudiant et une autre générée par l’AI. Ils devaient déterminer laquelle avait été créée par l’AI et laquelle avait été rédigée par un étudiant.
Principaux enseignements
- Les participants ont eu du mal à distinguer les dissertations rédigées par l’AI.
- Les enseignants de l’enseignement supérieur ont obtenu la bonne réponse dans 70 % des cas avec ChatGPT.
- Les étudiants ont trouvé la bonne réponse dans 60 % des cas avec ChatGPT.
À retenir
Les enseignants comme les étudiants ont du mal à repérer l’AI dans les travaux scolaires.
Étude : repérer le bot ? Identifier l’AI dans les dissertations universitaires
5. Les évaluateurs ont du mal à repérer les résumés générés par ChatGPT en chirurgie de l’épaule et du coude
Vue d’ensemble
Cette étude, publiée dans Arthroscopy: The Journal of Arthroscopic & Related Surgery, examine la capacité des évaluateurs à identifier les résumés créés par ChatGPT.
Dans le cadre de l’étude, les participants ont reçu un ensemble de résumés, certains générés par l’AI et d’autres par des humains. Ils devaient déterminer lesquels, selon eux, avaient été générés par l’AI.
Principaux résultats
Les évaluateurs ont correctement identifié les contenus générés par l’AI dans 62 % des cas. Cependant, dans 38 % des cas, ils ont pensé à tort que des résumés rédigés par des humains avaient été générés par l’AI. Cela montre que se fier uniquement au jugement humain ne suffit pas et que d’autres méthodes de détection de l’AI sont nécessaires.
Conclusion
Comme d’autres études, celle-ci montre que les gens ont du mal à détecter les contenus générés par l’AI.
6. ChatGPT peut-il déjouer le système ? Comparaison des lettres de motivation générées par l’AI et par des humains pour les candidatures en chirurgie plastique
Résumé de l’étude
Cette étude a été menée par la Société canadienne des chirurgiens plasticiens. Elle porte sur le contenu des candidatures aux programmes de résidence médicale, un domaine très spécialisé.
Deux chirurgiens, récemment retraités après 20 ans de collaboration avec le Canadian Residency Matching Service (CaRMS), ont participé à cette étude. Ils devaient examiner 11 candidatures rédigées par l’AI et 11 par des humains. Leur tâche consistait à déterminer lesquelles avaient été créées par ChatGPT-4 et lesquelles avaient été écrites par des humains.
Principaux résultats
L’étude a révélé que les évaluateurs parvenaient à distinguer les candidatures générées par l’AI de celles rédigées par des humains dans 65,9 % des cas. Les auteurs ont souligné que le faible nombre d’échantillons constituait une limite, mais que l’expertise des évaluateurs représentait un avantage important.
Conclusion
Les résultats montrent qu’il est difficile pour les gens de repérer les contenus générés par l’IA. Même les experts ayant plus de 20 ans d’expérience dans l’examen des candidatures aux résidences médicales ont du mal à distinguer les candidatures rédigées par des humains de celles écrites par une IA.
Remarques finales
Les gens peuvent-ils repérer un texte créé par une IA ? Ces études montrent que non.
Les gens identifient parfois correctement les textes, mais ont généralement du mal à distinguer un texte généré par une IA d’un texte humain. Un bon détecteur de texte IA est donc très utile pour y voir plus clair.
FAQ sur la détection de l’IA
Les gens peuvent-ils repérer un contenu créé par une IA ?
En général, il est difficile pour les gens de reconnaître un contenu créé par une IA. Les recherches suggèrent que leur capacité à le détecter varie considérablement.
Quelle est la précision des outils de détection de l’IA ?
Le taux de réussite de ces outils varie selon celui que vous utilisez. Le vérificateur d’IA de Bypass Engine revendique une précision de plus de 99 %. De plus, le modèle Turbo affiche lui aussi une précision de plus de 99 % pour repérer les contenus générés par l’IA.
Pour comparer les outils d’IA populaires, consultez notre série d’analyses des détecteurs d’IA.
Que se passe-t-il si nous ne pouvons pas identifier les contenus générés par l’IA ?
Cela pourrait entraîner de graves problèmes, comme la diffusion de fausses informations, la triche à l’école et une perte de confiance dans ce que nous lisons en ligne.
