Principales différences entre l’évaluation des essais par l’IA et par des humains

L’IA et les humains évaluent les dissertations différemment. Chacun présente des avantages et des inconvénients. Voici un bref aperçu :

-L’IA est rapide, constante et vérifie efficacement la grammaire. Elle peut noter de nombreuses dissertations rapidement, en appliquant des critères uniformes et en repérant les erreurs de grammaire et de structure.

-Les humains comprennent mieux le contexte, le ton et la créativité. Ils peuvent saisir les idées complexes, les références culturelles et l’originalité, tout en fournissant des commentaires personnalisés.

-L’IA est peu coûteuse et fonctionne bien pour les évaluations à grande échelle, mais la notation humaine peut être subjective et influencée par la fatigue ou les biais.

-La meilleure approche ? Utiliser les deux. L’IA s’occupe des tâches répétitives, tandis que les humains fournissent des commentaires détaillés et nuancés.

Comparaison rapide

La notation par l’IA et par les humains fonctionne mieux lorsqu’elle est combinée, en associant efficacité et profondeur pour améliorer l’évaluation des dissertations et l’apprentissage des étudiants.

Précision de la notation : jugement de l’IA contre jugement humain

En matière de notation, l’IA et les humains ont chacun leurs points forts. Les études révèlent que les humains ne parviennent à un accord précis que la moitié du temps. La précision de l’IA varie selon le type d’évaluation. Examinons les forces et les limites de ces deux méthodes.

Les capacités humaines : comprendre le contexte et les subtilités

Les humains comprennent bien les aspects les plus profonds des écrits des étudiants. Ils repèrent les idées complexes, détectent les légères variations de ton et comprennent les références culturelles que l’IA pourrait manquer. Cette capacité leur permet de reconnaître la créativité et les idées nouvelles dans les travaux des étudiants, et de saluer leur ingéniosité.

De plus, les humains excellent à prendre en compte le contexte, à s’appuyer sur leurs connaissances et à apprécier la cohérence des thèmes. Ces aptitudes les aident à reconnaître les arguments pertinents ou les approches originales qui sont logiques. Cependant, la notation humaine se heurte à certains obstacles — comme une formation insuffisante, la fatigue et les biais — qui peuvent parfois nuire à sa fiabilité.

Les atouts de l’IA : cohérente et précise

Les systèmes d’IA excellent lorsqu’il s’agit de fournir des évaluations cohérentes et fondées sur des règles. Ils sont particulièrement performants pour vérifier la grammaire, l’orthographe, la structure des phrases, la pertinence et les éléments justificatifs. En appliquant les mêmes critères à chaque fois, l’IA évite les biais personnels que peuvent avoir les correcteurs humains.

La méthode de l’IA, fondée sur les données, lui permet de repérer avec une grande précision les erreurs de grammaire, les problèmes de structure et les erreurs de mise en forme — des erreurs qui pourraient passer inaperçues lors de longues sessions de correction. L’IA est également plus cohérente, avec des taux d’accord compris entre 59 % et 82 % selon les différentes tentatives, contre environ 43 % pour les correcteurs humains.

Cependant, l’IA a du mal à comprendre le contexte, le ton et les nuances des réponses des étudiants. Elle peut ne pas détecter les erreurs d’organisation ou reconnaître des méthodes originales, mais efficaces.

Comparaison de la précision

Examinons comment la notation par l’IA et la notation humaine se comparent dans différents domaines :

Les recherches sur ChatGPT mettent en lumière son fonctionnement en matière de notation. Dans une étude, les notes attribuées aux essais par ChatGPT ne différaient de celles des correcteurs humains que d’un point dans 89 % des cas. Mais lorsque différents types d’essais ont été testés, ce taux est tombé à 76 %. Sur une échelle de 1 à 6, les notes de ChatGPT étaient en moyenne inférieures de 0,9 point à celles des évaluateurs humains. L’étude a également révélé un biais potentiel : ChatGPT attribuait des notes plus faibles aux essais d’étudiants asiatiques ou insulaires du Pacifique que les évaluateurs humains.

En matière de précision, les points forts de la notation par l’IA et par les humains se manifestent dans des situations différentes. L’IA excelle dans les évaluations objectives fondées sur des critères clairs, tandis que les correcteurs humains sont plus performants pour les évaluations subjectives nécessitant une compréhension du contexte et un jugement nuancé.

Cohérence de la notation

Évaluer de nombreux essais de la même manière est difficile. La comparaison entre l’IA et les correcteurs humains révèle des différences nettes. La précision vérifie que chaque essai reçoit la note appropriée. La cohérence évalue si les mêmes règles sont appliquées au fil du temps et à différents travaux. Examinons ce qui rend la notation difficile pour les humains et comment l’IA résout ces problèmes.

Difficultés humaines : fatigue et différences individuelles

Les personnes qui corrigent des essais ont souvent du mal à maintenir une notation équitable, surtout lorsqu’elles doivent en lire un grand nombre. La fatigue est l’une des principales causes de cette iniquité. Des études montrent que lorsque les correcteurs s’ennuient, ils ont tendance à attribuer des notes plus faibles. Même des enseignants très expérimentés peuvent donner des notes différentes au même essai parce qu’ils l’interprètent différemment ou sont influencés par des biais inconscients. Des éléments comme la lisibilité de l’écriture ou le niveau d’anglais d’un étudiant peuvent modifier involontairement les notes et les rendre moins fiables.

L’utilisation de grilles d’évaluation peut contribuer à rendre la notation plus cohérente, en la faisant passer d’environ 30 % à 90 % au maximum. Mais même avec des grilles, les correcteurs peuvent se fatiguer et prendre des décisions subjectives. Contrairement aux humains, les systèmes d’IA ne sont pas confrontés à ces problèmes et offrent une méthode de notation plus régulière.

L’avantage de l’IA : des normes cohérentes à chaque fois

Les systèmes d’IA comme GPT-4 bénéficient d’un avantage majeur pour maintenir la cohérence des notes. Avec une cohérence interne supérieure à 80 %, GPT-4 fait nettement mieux que les correcteurs humains, qui n’atteignent qu’une cohérence de 43 %. Contrairement aux humains, l’IA ne se fatigue pas et ne perd pas sa concentration : un essai évalué le matin reçoit ainsi la même note qu’un essai corrigé plus tard. Même GPT-3.5, légèrement moins stable, atteint encore entre 59 % et 82 %, selon les paramètres utilisés.

L’IA est également très performante pour suivre les grilles d’évaluation, ce qui garantit une notation homogène pour un grand nombre d’essais. Elle est donc particulièrement utile pour gérer des évaluations à grande échelle, où la cohérence est essentielle.

Comparaison des données de fiabilité

Le graphique ci-dessous montre les différences de cohérence entre les évaluations réalisées par les humains et celles effectuées par les systèmes d’IA :

Les données montrent clairement que les systèmes d’IA comme GPT-4 présentent une plus grande cohérence interne que les correcteurs humains. Il est toutefois important de souligner que les correcteurs humains s’accordent généralement davantage entre eux que l’IA lorsqu’ils sont directement comparés à une notation humaine. Cela signifie que, même si l’IA respecte bien ses propres normes, celles-ci peuvent ne pas correspondre aux préférences humaines.

Un problème majeur de l’évaluation humaine réside dans les écarts entre les différents correcteurs. La note d’un étudiant peut varier considérablement selon la personne qui corrige son travail, ce qui soulève des questions d’équité dans les situations d’évaluation importantes. À l’inverse, les systèmes d’IA offrent une méthode de notation plus stable et cohérente, réduisant ces écarts. Néanmoins, les différences entre les critères de notation de l’IA et ceux des humains nécessitent encore des recherches approfondies.

Comparaison de la rapidité et de l’échelle

L’IA vérifie les dissertations en quelques secondes, contrairement aux longues heures nécessaires aux humains. Ce changement transforme la manière dont les établissements scolaires et les organismes d’évaluation corrigent un grand nombre de copies d’étudiants.

La rapidité de correction des dissertations

Imaginez : un enseignant qui corrige les dissertations de six classes de 25 étudiants chacune pourrait avoir besoin de 50 heures pour accomplir cette tâche. À l’inverse, l’IA peut s’en charger en quelques minutes seulement. Par exemple, des outils d’IA avancés peuvent attribuer une note en 2 secondes ou moins. Des outils comme EssayGrader pourraient même corriger les dissertations d’une classe entière en moins de 2 minutes.

Certains systèmes, comme les logiciels AES, sont extrêmement efficaces et peuvent corriger 16,000 dissertations en seulement 20 secondes. Cela réduit le temps de correction de 80 % par rapport aux méthodes humaines traditionnelles. Dans les examens standardisés, où de nombreuses dissertations doivent être corrigées rapidement, cette rapidité permet de respecter les délais sans perturber le processus.

Kwame Anthony Appiah, professeur à l’Université de New York, estime que le temps gagné grâce à l’évaluation des travaux pourrait être utilisé plus efficacement à d’autres fins, notamment au bénéfice des étudiants. Il affirme : « Utiliser l’IA d’une manière qui aide réellement les étudiants n’est pas hypocrite. »

Ce gain de rapidité ne permet pas seulement de gagner du temps ; il réduit également considérablement les coûts, ce qui facilite la gestion des évaluations à grande échelle.

Aspect financier

La correction manuelle des dissertations nécessite du personnel qualifié, de la planification et un contrôle constant de la qualité, ce qui fait augmenter les coûts à mesure que le nombre de copies progresse. En revanche, une fois mis en place, les systèmes d’IA maintiennent des coûts stables, quel que soit le nombre de dissertations qu’ils vérifient. Ces systèmes peuvent traiter de grandes quantités de copies sans entraîner de hausse des coûts.

Cet avantage financier est particulièrement précieux pour les examens à grande échelle, les évaluations menées dans tout un établissement et les grandes classes universitaires, où le recours à des correcteurs humains serait coûteux. En réduisant le temps consacré à la correction, l’IA permet aux enseignants de se concentrer sur l’essentiel : enseigner et accompagner les étudiants individuellement. Cela peut améliorer leur satisfaction au travail et alléger les longues heures de correction, contribuant ainsi à prévenir l’épuisement professionnel.

Gérer de gros volumes

Au-delà de la rapidité et des coûts, l’IA excelle par sa capacité à passer à l’échelle. Sa faculté de traiter davantage de copies sans effort en fait un outil essentiel dans les grands environnements éducatifs. Les correcteurs humains se fatiguent et commettent davantage d’erreurs au cours des longues sessions de correction. L’IA, en revanche, applique les mêmes critères, qu’il s’agisse de la première dissertation ou de la dix-millième.

IntelliMetric analyse plus de 400 aspects des travaux des étudiants et fournit des résultats cohérents, même face à de gros volumes. C’est essentiel pour les groupes d’examen, les grands réseaux scolaires et les plateformes d’apprentissage en ligne. Piotr Mitros, scientifique en chef chez edX, affirme :

« Les machines ne peuvent pas fournir de commentaires détaillés. Les étudiants ne sont pas toujours capables de s’évaluer correctement entre eux. Les enseignants se fatiguent et peuvent commettre des erreurs lorsqu’ils ont trop de copies à corriger. »

L’IA peut aider les établissements scolaires à évaluer les étudiants plus souvent. Ils peuvent proposer régulièrement des travaux d’écriture sans surcharger les enseignants, permettant aux étudiants de recevoir rapidement des retours et de s’exercer davantage. L’IA prend en charge la correction, afin que les enseignants puissent se concentrer sur l’enseignement et l’accompagnement des étudiants, pour une organisation plus efficace.

Pour les établissements qui organisent de nombreux examens chaque année, l’IA offre la rapidité et la fiabilité nécessaires pour maintenir des standards cohérents et respecter les délais, ce qui serait très difficile avec la seule correction humaine.

L’impact des retours sur l’apprentissage des étudiants

Les retours influencent la manière dont les étudiants améliorent leur écriture. Qu’ils proviennent de l’IA ou d’humains, ils ont une incidence sur l’apprentissage. L’IA fournit rapidement des commentaires fondés sur des règles. Les humains, en revanche, proposent des conseils personnalisés. La qualité des retours détermine les progrès des étudiants, en conciliant précision et accompagnement individuel. Ces différences montrent comment chaque méthode contribue au développement des compétences rédactionnelles.

Les retours humains : détaillés et personnalisés

Lorsque les humains donnent des retours, ils le font avec soin. Ceux-ci ne sont pas seulement corrects, mais aussi utiles et bienveillants. Les enseignants peuvent comprendre ce qu’un étudiant cherche à dire, même lorsque son expression écrite n’est pas parfaite. Les études montrent que les retours humains sont souvent meilleurs que ceux de l’IA, car ils aident les étudiants à comprendre à la fois ce qu’ils doivent modifier et pourquoi cela est important. C’est particulièrement essentiel pour les étudiants avancés, car les retours humains les poussent à progresser et les aident à clarifier les idées brèves ou confuses. Le lien avec les enseignants contribue également à maintenir leur motivation, surtout lorsque la rédaction est difficile.

Les retours de l’IA : rapides et utiles

Les systèmes d’IA excellent dans la fourniture immédiate de retours fondés sur des règles. En général, l’IA a obtenu 0.24 point de plus que les humains lors d’évaluations fondées sur des critères. Elle est particulièrement efficace pour repérer les problèmes techniques, comme les erreurs de grammaire, les défauts de structure et les erreurs de citation. Des outils comme Bypass Engine proposent notamment la complétion automatique des phrases, l’amélioration des textes et des contrôles avancés du plagiat. Les étudiants peuvent ainsi obtenir instantanément des retours sur l’originalité et la mise en forme de leur travail avant de le remettre.

Une étude menée en 2023 par Hwang et ses collègues a montré que des étudiants de premier cycle apprenant l’anglais comme langue étrangère (EFL) amélioraient leur expression écrite grâce à un outil de retours basé sur l’IA. Cet outil les aidait à réviser et à corriger leurs textes en leur fournissant des commentaires personnalisés. Cependant, l’IA n’est pas parfaite. Elle rencontre des difficultés avec les dissertations de grande qualité, ce qui peut priver les rédacteurs avancés de conseils détaillés. Steve Graham, spécialiste de l’écriture à l’Arizona State University, a relevé des résultats mitigés concernant les retours de l’IA :

« C’était mieux que ce à quoi je m’attendais, car je ne pensais pas que ce serait aussi bon. Ce n’était pas toujours parfaitement juste. Mais parfois, c’était exactement ça. »

Améliorer ses compétences rédactionnelles au fil du temps

Les retours de l’IA et ceux des humains contribuent tous deux à développer les compétences rédactionnelles grâce à une pratique régulière. Chacun se concentre sur des aspects différents de l’écriture, aidant les étudiants à progresser au fil du temps. Les retours de l’IA s’adaptent à la manière d’écrire de chaque personne et fournissent rapidement des conseils permettant de corriger les erreurs en temps réel et de progresser. Comme elle est toujours disponible, l’IA permet aux étudiants de s’exercer davantage sans devoir attendre leur enseignant.

À l’Ivy Tech Community College, la technologie de l’IA a démontré son efficacité en repérant, en seulement deux semaines, 16,000 étudiants susceptibles de rencontrer des difficultés. Grâce à ces informations, une aide précoce a permis à 98 % de ces étudiants d’obtenir au moins la note C. Les enseignants mettent toutefois en garde contre une dépendance excessive à l’IA. Steve Graham craint que les étudiants utilisent des outils comme ChatGPT non seulement pour obtenir des conseils, mais aussi pour leur déléguer la réflexion et la rédaction :

« Ma plus grande inquiétude, c’est qu’il devienne l’auteur. Il craint que les étudiants n’utilisent pas seulement ChatGPT pour obtenir des commentaires, mais qu’ils comptent sur lui pour réfléchir, analyser et écrire. Ce n’est pas bon pour l’apprentissage. »

La combinaison des différents types de retours donne les meilleurs résultats. Les études indiquent que l’association des commentaires de l’IA et de la relecture humaine rend les retours plus rapides et plus personnalisés. Cet équilibre aide les étudiants à développer leurs compétences techniques et leur esprit critique, les préparant à réussir durablement à l’école et dans la vie.

Associer l’IA à la correction humaine permet de tirer le meilleur parti des deux approches. L’IA excelle pour repérer les détails techniques, comme la grammaire et la structure. Les humains, quant à eux, offrent une compréhension approfondie des thèmes et du contexte. Ensemble, ils créent un système de notation équilibré, à la fois efficace et complet.

Grâce à cette combinaison, l’IA prend en charge les tâches répétitives, comme la vérification de la grammaire, tandis que les enseignants fournissent des retours personnalisés et une évaluation détaillée. Cette association permet de remédier aux difficultés de l’IA en matière de créativité et de nuances, ainsi qu’aux erreurs occasionnelles dues à la fatigue ou aux biais humains.

Lorsque l’IA intervient comme première évaluatrice, la collaboration révèle tout son potentiel. L’IA fournit rapidement des observations sur les premières versions et repère les problèmes techniques. Cela encourage les étudiants à améliorer leur rédaction. Les enseignants peuvent alors se concentrer sur le développement de compétences comme l’esprit critique et la créativité. Tamara Tate, de l’UC Irvine, note :

« Beaucoup d’étudiants ne relisent pas leurs travaux. Les amener à revenir sur ce qu’ils ont écrit est déjà une victoire. »

Des outils tels que Bypass Engine montrent comment cette collaboration peut porter ses fruits. Ils proposent des fonctionnalités comme la saisie automatique de phrases, l’amélioration des textes et la détection du plagiat. Ces plateformes prennent en charge les vérifications techniques, permettant aux enseignants de se concentrer sur le développement des capacités d’analyse et de réflexion critique des étudiants.

Les données montrent également les avantages de cette stratégie. Si les systèmes d’IA fournissent des résultats réguliers, les évaluateurs humains obtiennent de meilleurs résultats dans des domaines comme la profondeur de l’analyse (4.2 sur 5 pour les humains contre 3.1 pour l’IA) et l’originalité des idées (3.9 sur 5 pour les humains contre 2.7 pour l’IA).

L’avenir de l’évaluation des dissertations repose sur cette approche équilibrée. L’efficacité de l’IA complète la compréhension humaine, créant un système qui est non seulement précis et cohérent, mais aussi pertinent pour les progrès des étudiants.

FAQ

Comment l’association de l’IA et des humains améliore-t-elle l’évaluation des dissertations ?

Associer l’IA et les humains améliore l’évaluation des dissertations en combinant la technologie et le jugement humain. L’IA est rapide et précise, et fournit un retour immédiat sur des aspects comme la grammaire et la structure. Elle vérifie dans quelle mesure une dissertation respecte les règles, sans parti pris.

Les humains, en revanche, comprennent mieux le contexte. Ils évaluent la créativité, le ton et les idées complexes, des aspects que l’IA a du mal à juger. Ensemble, l’IA prend en charge les tâches simples et répétitives, laissant aux humains le soin de se concentrer sur les éléments les plus complexes. Cette collaboration rend non seulement l’évaluation plus précise, mais fournit aussi aux étudiants des commentaires qui les aident à améliorer leur expression écrite.

Quels sont les principaux biais et limites de l’IA dans l’évaluation des dissertations, et comment y remédier ?

Les systèmes d’IA qui évaluent les dissertations sont loin d’être infaillibles. Ils peuvent présenter des biais et des limites qui affectent la qualité de leur évaluation du travail des étudiants. Par exemple, les biais démographiques peuvent entraîner des notes injustes fondées sur l’origine d’un étudiant, ce qui risque d’accentuer les inégalités scolaires. De plus, ces systèmes ont souvent du mal à faire la différence entre une dissertation bien écrite et une dissertation mal rédigée, ce qui donne lieu à des notes qui ne reflètent pas réellement les compétences de l’étudiant.

Pour résoudre ces problèmes, nous pouvons adopter une approche avec intervention humaine. Dans ce cadre, les enseignants examinent et ajustent les notes attribuées par l’IA afin de garantir leur équité et leur précision. En outre, en mettant régulièrement les algorithmes à jour, les développeurs peuvent réduire les biais et aider le système à mieux évaluer les dissertations.

Comment l’évaluation des dissertations par l’IA transforme-t-elle l’apprentissage des enseignants et des étudiants ?

L’évaluation des dissertations par l’IA peut transformer l’enseignement et l’apprentissage en simplifiant la notation et en proposant des retours plus personnalisés. Pour les enseignants, elle réduit le temps consacré à la correction, ce qui leur permet de mieux accompagner les étudiants et de leur offrir une aide plus individualisée. Pour les étudiants, elle signifie recevoir des commentaires plus rapidement, ce qui peut les encourager à écrire plus souvent et à améliorer progressivement leurs compétences.

Cependant, trop dépendre de l’IA peut compliquer l’identification des progrès ou des difficultés propres à chaque étudiant par les enseignants. Pour trouver le bon équilibre, l’IA doit aider les enseignants, et non les remplacer. Cette collaboration préserve la qualité des relations humaines et garantit aux étudiants le soutien dont ils ont besoin pour progresser.