Vérification par un détecteur de contenu généré par IA : quelle est leur efficacité et quels outils utiliser 

Nous pensons qu’il est vraiment important que les outils qui vérifient si un contenu a été créé par l’IA soient clairs, honnêtes et responsables. Toute personne qui a besoin de savoir si un texte a été rédigé par l’IA devrait pouvoir déterminer facilement quel outil répond le mieux à ses besoins.

Les outils de détection de l’IA sont importants, mais ils ne sont pas toujours exacts. Il est essentiel de savoir ce que ces outils peuvent faire et ce qu’ils ne peuvent pas faire. Les concepteurs de ces outils devraient communiquer clairement sur leur niveau d’efficacité.

Des informations sont disponibles sur l’efficacité de l’outil Bypass Engine, notamment dans des rapports issus de différentes études.

Vous pouvez tester gratuitement l’outil Bypass Engine en cliquant ici.

Découvrez notre détecteur d’IA 

Ce guide vous explique comment choisir le meilleur détecteur de contenu IA. Il présente leur fonctionnement et propose des outils pour tester leur précision. Il comprend :

• Un jeu de données que nous pouvons tous utiliser pour tester l’efficacité des détecteurs d’IA.
• Un outil simple qui vérifie l’efficacité de l’IA pour reconnaître des éléments provenant de différentes collections.
• Des instructions et un calculateur pour sélectionner les meilleurs tests de détection.
• Des rapports clairs qui présentent les faits à l’aide de données accessibles à tous.

Ce guide vous aide à apprendre à évaluer les détecteurs d’IA, à vérifier leur efficacité, à mener vos propres expériences et à comparer leurs performances. 

Vous avez des questions ? Contactez-nous !

En bref :

• Lite est désormais la solution préférée de tous pour une assistance IA simple (comme celle proposée par Grammarly), et remplace la version Standard.
• Turbo 3.0.1 est un outil extrêmement performant qui détecte le moindre indice d’utilisation de l’IA.
• Choisissez Turbo 3.0.1 pour un travail sans aucune IA.
• Choisissez Lite pour une assistance IA plus simple et moins d’erreurs.
• Bypass Engine est devenu encore plus performant pour vérifier les travaux, ce qui en fait le détecteur d’IA le plus précis du marché.

La détection de l’IA n’est pas toujours exacte. Certains pensent qu’elle repère tout, tandis que d’autres estiment qu’elle laisse passer beaucoup de choses. La réalité se situe quelque part entre les deux. Nous attendons tous de voir si OpenAI, ou quelqu’un d’autre, saura nous démontrer le contraire.

– La clarté et la responsabilité sont essentielles lors du développement et de l’utilisation de l’IA. 

– Les détecteurs d’IA peuvent contribuer à limiter certains effets néfastes que l’IA générative pourrait avoir sur la société.

Rendre la détection de l’IA claire et responsable contribue à préserver l’équité et la sécurité pour les étudiants et les travailleurs. Bypass Engine soutient une utilisation responsable de l’IA. L’outil prône la transparence afin que chacun puisse se fier à ce qu’il voit ou lit.

La FTC recommande la prudence concernant les affirmations relatives à l’efficacité de l’IA pour détecter les contenus générés par l’IA.

Les outils d’IA qui vérifient les faits doivent prouver qu’ils sont réellement efficaces. S’ils affirment être performants sans fournir de preuve, cela peut entraîner de graves problèmes pour tout le monde. 

La FTC affirme que nous ne devrions pas faire confiance aux outils incapables de prouver qu’ils fonctionnent correctement. Les créateurs de ces outils partagent cet avis et n’importe qui peut vérifier leurs résultats. 

Des problèmes sont déjà survenus, notamment lorsqu’un enseignant a injustement fait échouer toute une classe à cause de ces erreurs.

Les conséquences des contenus générés par l’IA que les gens ne peuvent pas identifier comme tels sont graves. 

Nous avons besoin d’outils capables de repérer ces contenus générés par l’IA. Pour l’instant, les outils et les études dont nous disposons ne sont pas suffisamment fiables pour faire face aux graves problèmes que ces contenus peuvent causer.

1. Informations trompeuses largement diffusées. 
2. Récits mensongers. 
3. Messages nuisibles et indésirables. 
4. Copie déloyale dans le cadre scolaire / Tricherie avec l’IA. 
5. Fausses croyances.
6. Rédacteurs qui trichent. 
7. Entreprises qui trichent.
8. Éloges inventés pour des produits.
9. Formulaires de candidature inventés. 
10. Essais d’admission à l’université inventés.
11. Demandes de bourses inventées.

Historique des versions d’Originality.ai :

Novembre 2022 : Ils ont lancé une version de test. Elle est sortie avant ChatGPT. Elle pouvait détecter GPT-2, GPT-NEO, GPT-J et GPT-3. Cependant, quelques petites modifications permettaient de la contourner.

Avril 2023 : Meilleure capacité à déterminer si un contenu avait été généré par ChatGPT, même lorsque quelqu’un en avait modifié les termes. Moins d’erreurs désormais.

Août 2023 : Ils ont amélioré la précision et la détection des contenus modifiés par une IA. Ils ont également proposé gratuitement un ensemble de données et lancé un nouvel outil pour évaluer les détecteurs d’IA.

Février 2024 : Ils ont amélioré Turbo 3.0 grâce à de nouvelles technologies d’IA comme Grok, Mixtral, GPT-4 Turbo, Gemini et Claude 2. Les résultats sont devenus particulièrement performants, avec une précision de 98.8 % et moins d’erreurs.

Juillet 2024 : lancement de Lite 1.0.0. Il est précis à 98 % et commet moins de 1 % d’erreurs. Il aide également à déterminer si un texte a été rédigé avec l’aide d’une IA, comme Grammarly.

Septembre 2024 : Lite a été choisi comme meilleur modèle et les anciens modèles ont été abandonnés.

Octobre 2024 : lancement de Turbo 3.0.1. Il se trompe presque jamais, avec moins de 3 % d’erreurs. Il est conçu pour ne pas se laisser berner par l’IA et résiste particulièrement bien aux tentatives de contournement.

Comment fonctionne notre détecteur d’IA : guide simple

Nous disposons d’un système capable de déterminer si un texte a été écrit par un ordinateur ou par une personne.

Le système s’améliore en étudiant de nombreux exemples rédigés par l’IA et par des humains. Il apprend à repérer leurs différences grâce à un modèle puissant.

Vous êtes curieux de savoir comment repérer les textes rédigés par des ordinateurs ?

Comment les machines repèrent les textes rédigés par l’IA 

Voici une explication simple des trois principales façons dont un outil (souvent appelé « classificateur » dans le domaine de l’apprentissage automatique) peut déterminer si un texte a été rédigé par une IA ou par une personne.

1. Résoudre les problèmes grâce aux caractéristiques

• Repère les schémas propres aux textes générés par l’IA.
• La burstiness montre à quel point nous répétons certains mots ensemble. Les humains utilisent souvent les mêmes expressions, tandis que l’IA varie davantage son vocabulaire.
• La perplexité mesure la facilité avec laquelle on peut deviner le mot suivant. Les textes générés par l’IA sont généralement faciles à prévoir (moins déroutants), tandis que les textes rédigés par des humains sont plus difficiles à anticiper (plus déroutants).
• Caractéristiques de fréquence – Analyse la fréquence d’apparition des mots ou des expressions. Des schémas inhabituels peuvent révéler l’intervention de l’IA.
• Des études ont montré que les textes générés par l’IA, en particulier les anciennes versions, sont généralement faciles à comprendre.
• L’IA utilise correctement la ponctuation, mais son style peut sembler moins naturel que celui des humains.
• Avantages : rapide, économique et efficace avec les anciens systèmes d’IA.
• Inconvénients : difficulté à analyser des modèles complexes comme GPT-4 et Bard.
• Exemples : GPTZero, Winston AI

2. Une approche zero-shot

• L’IA compare le texte à son propre style d’écriture.
• Avantages : facile à utiliser, sans apprentissage supplémentaire.
• Inconvénients : facile à contourner en reformulant le texte
• Exemples : GPTZero, ZeroGPT

3. Améliorer notre façon de rendre l’IA plus intelligente

• Effectue des vérifications à l’aide de programmes intelligents (comme BERT et RoBERTa) afin d’identifier ce qui distingue les textes rédigés par l’IA de ceux écrits par des humains.
• Avantages : la meilleure façon de déterminer qui a rédigé le texte.
• Inconvénients : coûteux et lent à adapter aux derniers modèles d’IA.
• Exemples : Originality.ai AI Detector, OpenAI Text Classifier (mis hors ligne)

Le test dont nous parlons évalue l’efficacité de différents détecteurs en utilisant toutes les stratégies mentionnées précédemment.

Plan des tests :

Nous avons évalué le nouveau vérificateur de contenu IA de Bypass Engine en procédant comme suit :

1. Nous avons examiné trois types différents avec de nombreux exemples. 

2. Nous avons évalué ses performances sur un petit ensemble de données particulièrement difficile. 

3. Nous l’avons testé avec nos propres outils et saisi les informations manuellement lorsque l’automatisation n’était pas possible. 

4. Nous avons utilisé des ensembles de données reconnus pour évaluer les performances réelles d’Originality.ai. 

Nous pouvons également refaire le deuxième test à l’aide d’un outil accessible à tous et d’ensembles de données spécialisés. 

Découvrez notre nouvel ensemble de données adversarial pour la détection de l’IA :

Nous partageons un ensemble de données spécialisé pour évaluer l’efficacité des détecteurs d’IA et mettre en évidence leurs limites. Il comprend :

• Des textes difficiles générés par des robots (comme ceux produits par ChatGPT-4 ou des textes reformulés par une IA). Des textes rédigés par des humains pour voir la différence.

Ces données proviennent d’un vaste ensemble, mais n’ont pas été sélectionnées pour les tests principaux. Elles permettent de garantir que les tests sont équitables et exempts de biais.

Consultez le tableau ci-dessous. Il répertorie les jeux de données et fournit une brève description de chacun. 

Vous pouvez télécharger le jeu de données en cliquant ici.

Quelle est la meilleure façon de vérifier ? Utilisez vos propres données !

L’utilisation d’outils d’IA avec vos propres données contribue à améliorer leur précision. Toutefois, vous devrez peut-être les ajuster pour détecter les faux contenus. Essayez notre outil gratuit pour évaluer l’efficacité du détecteur avec vos données.

Méthode et découverte d’outils gratuits pour tous :

Des outils ont été créés pour mieux repérer les contenus rédigés par une IA. Ils fournissent des informations, des chiffres et des détails précis. Leur principal atout est de fonctionner avec les détecteurs d’IA grâce à un code spécial, afin de simplifier les vérifications et d’en garantir la fiabilité.

1. Effectuer tous les tests presque simultanément, le même jour.
2. Veiller à ce que chaque outil reçoive exactement le même texte, sans aucune modification de sa mise en forme.
3. Tester rapidement les jeux de données dès qu’ils sont disponibles.
4. Permettre aux clients potentiels ou aux chercheurs de tester leurs données afin de déterminer quel détecteur d’IA répond le mieux à leurs besoins.

De nouveaux LLM apparaissent très rapidement, tout comme les progrès de la détection de l’IA. Ainsi, si une étude met 4 mois à être publiée, elle est déjà obsolète. 

Fonctionnalités de cet outil :

• Gratuit et accessible sans aucun paiement
• Vérifie de nombreux textes avec différents détecteurs d’IA 
• Fournit rapidement les informations 
• Évalue automatiquement l’efficacité des détecteurs (précision, erreurs commises, etc.)

Découvrez cet outil intéressant : https://github.com/OriginalityAI/AI-detector-research-

outil. 

Nous avons également ajouté trois méthodes simples pour utiliser notre outil avec vos jeux de données.

1. Rechercher du contenu généré par l’IA dans Microsoft Excel
2. Rechercher du contenu créé par l’IA dans Google Sheets. 
3. Détecter le contenu généré par l’IA dans AirTable.

Notre point de vue sur l’utilisation des détecteurs d’IA à l’école et le problème des erreurs

Se fier uniquement aux scores d’IA pour déterminer si quelqu’un a commis une faute peut conduire à des erreurs. 

Pour éviter ces erreurs, les créateurs ont fourni un guide destiné aux rédacteurs et aux étudiants, ainsi qu’un outil Chrome gratuit permettant de vérifier l’originalité d’un travail.

La nouvelle version, 1.0.0 Lite, est conçue pour les établissements scolaires afin de faciliter les petites corrections grâce à des outils similaires à Grammarly.

Comment vérifier la fiabilité des détecteurs d’IA

Voici comment nous évaluons la qualité des détecteurs d’IA conçus pour repérer les contenus générés par l’IA. Cela peut devenir un peu technique, mais si vous souhaitez approfondir le sujet, nous avons préparé davantage de détails pour vous. 

Un seul chiffre pour indiquer la qualité d’un détecteur ne nous aide pas vraiment ! 

Vous ne devriez pas vous fier à un seul score de « précision » sans en savoir davantage à son sujet. 

Examinons les différentes façons d’évaluer l’efficacité de ces détecteurs…

Matrice de confusion 

La matrice de confusion et le score F1 nous montrent dans quelle mesure un modèle d’IA sait distinguer les contenus humains des contenus générés par l’IA. Vous pouvez le voir rapidement en un seul graphique.

• Vrai positif (TP) : le texte généré par l’IA est correctement identifié.
• Faux négatif (FN) : le détecteur d’IA se trompe et indique qu’un contenu généré par l’IA a été rédigé par un humain. 
• Faux positif (FP) : le détecteur d’IA se trompe et affirme qu’un contenu rédigé par un humain a été généré par une IA. 
• Vrai négatif : le contenu rédigé par des humains est correctement identifié.

Comprendre une matrice de confusion avec GPT-4 et des données humaines, version simplifiée 1.4

Taux de vrais positifs — Détecter les textes générés par l’IA

Cet outil identifie correctement les textes générés par l’IA dans x% des cas. Le taux de vrais positifs, ou TPR, est également appelé sensibilité, taux de détection ou rappel.

• Taux de vrais positifs TPR = TP / (TP & FN)

Taux de vrais négatifs — Identifier les textes rédigés par des humains :

Cet indicateur vérifie correctement si un contenu a été créé par une personne dans x% des cas. Le taux de vrais négatifs TNR est également appelé spécificité ou sélectivité.

• Taux de vrais négatifs TNR = TN / (TN & FP) = 1- FPR

Exactitude :

Avoir raison ne fait pas tout : certains outils de détection des textes générés par l’IA affirment être très performants, sans expliquer leur fonctionnement.

• Exactitude = Vrai / (Vrai + Faux) = (TP + TN) / (TP + TN + FB +FN)

F1 :

Un score qui combine efficacement l’exactitude et l’identification de tous les éléments importants pour évaluer équitablement les détecteurs d’IA.

• F1 = 2 x (PPV x TPR) / (PPV + TPR), où la précision (PPV) = TP / (TP + FP)

Métriques envisagées, mais non utilisées :

• Nous n’avons pas inclus la ROC ni l’AUROC, car nous ne pouvons pas modifier la sensibilité des autres outils et que certains outils n’utilisent pas de scores en pourcentage.
• La précision, qui correspond à PPV =TP /(TP+FP), n’est pas utilisée non plus.

Alors, qu’est-ce qui compte exactement comme contenu généré par l’IA ?

Qu’est-ce qui compte comme contenu généré par l’IA et qu’est-ce qui n’en est pas ? Alors que les textes sont de plus en plus rédigés par des humains et des assistants d’IA, il devient difficile de déterminer ce qui relève entièrement de l’IA ! 

Certaines recherches ont fait des choix surprenants quant à ce qu’elles considèrent comme un texte véritablement humain ou généré par l’IA. 

Par exemple, une étude a analysé des textes rédigés par des humains dans différentes langues, puis traduits en anglais par une IA, tout en les considérant comme de véritables textes humains. 

Description du jeu de données :

Affirmer que le jeu de données généré par l’IA semble avoir été rédigé par une personne ???

https://arxiv.org/pdf/2306.15666.pdf

Les détecteurs d’IA doivent savoir reconnaître les textes générés par l’IA qui ont été fortement modifiés. Même de petites retouches peuvent masquer le fait qu’un texte a été créé par une IA. Nous classons donc de différentes manières les contenus retouchés par l’IA.

• Texte généré par l’IA = Généré par l’IA
• Texte généré par l’IA puis amélioré par des humains = Généré par l’IA
• Texte généré par l’IA avec d’importantes modifications humaines = Généré par l’IA
• Plan conçu par une IA, mais fortement rédigé et modifié par des humains = Généré par l’IA
• Texte rédigé par des humains avec une légère aide de l’IA = Cela dépend
• Recherche réalisée par une IA, mais texte rédigé par des humains = Véritablement rédigé par des humains
• Texte et vérification réalisés par des humains = Véritablement rédigé par des humains

Plus nous utilisons l’IA pour rédiger, plus il devient facile de repérer les textes générés par l’IA. Kristi Hines, journaliste, et d’autres spécialistes se sont penchés sur la question. Ils ont publié leurs conclusions dans Search Engine Journal.

Nous vérifions le caractère unique de la nouvelle version Lite de Bypass Engine pour sa mise à jour de juillet 2024.

Enfin ! Le moment est venu de passer aux tests

De nouveaux LLM toujours plus performants apparaissent, nous devons donc actualiser nos modèles et nos méthodes de test. 

Découvrez la version Lite 1.0.0.

Notre version de juillet 2024 introduit la version Lite 1.0.0. Découvrez les performances de ce nouveau modèle Lite lors de nos tests.

1. La version Lite est très performante pour repérer les contenus rédigés par des humains et commet peu d’erreurs, même lorsqu’elle doit détecter de petites modifications apportées par une IA.
2. Performances sur différents jeux de données

• La version Lite 1.0.0 peut déterminer si un contenu comporte quelques modifications apportées par l’IA ou s’il a été entièrement généré par l’IA.
• Elle présente un très faible risque d’erreur, de seulement 1 %, lorsqu’elle identifie un contenu comme étant généré par l’IA (un résultat meilleur que celui de l’ancienne version 2.0.0). Elle détecte également assez bien les contenus générés par l’IA, avec seulement 2 % de risques de les manquer. 
• C’est l’outil qui s’est montré le plus précis lors de 4 des 10 tests d’IA auxquels il a été soumis.

3. Points clés : un taux d’erreur très faible et d’excellentes performances pour repérer les contenus légèrement modifiés par l’IA.

La version Lite 1.0.0 est particulièrement performante pour repérer les modifications effectuées par des outils d’IA comme Grammarly, et se trompe très rarement. Elle est donc idéale pour les établissements scolaires et l’enseignement.

Analyse de 6 outils capables de repérer les contenus IA dissimulés

Nous allons maintenant tester différents détecteurs d’IA afin d’évaluer leur efficacité.

Pour réaliser ces tests à plusieurs reprises, nous avons utilisé…

1.  Découvrez notre tout nouvel outil : le vérificateur open source de la précision des détecteurs d’IA. 
2. Découvrez ces jeux de données gratuits pour comparer les performances des outils :

• Benchmark open source de détection des contenus IA adverses
• Jeu de données sur les biais du détecteur ChatGPT

Le test n° 2 est particulièrement complexe. Il utilise des paramètres exigeants pour GPT-3, GPT-4, ChatGPT et les données de paraphrase. Il diffère de la plupart des outils de reconnaissance de l’IA, qui utilisent des contenus IA classiques.

Découvrez le test n° 2 — Nos résultats 

Vous pouvez consulter les scores, les données et les détails en les téléchargeant ici :

• https://drive.google.com/drive/folders/14uCk9s8ypSp63Yd-M4EGYr9uDyO4U9D0?usp=drive_link

Test n° 2 – Résultats de la vérification de la capacité de l’IA à détecter les textes générés par l’IA :

Nous avons réalisé ce test avec une ancienne version, la 2.0.0, mais nous ne l’utilisons plus. 

Examinons maintenant les performances de notre dernière version, appelée Lite, lors de ces tests.

• Le tableau classe les outils selon un nombre spécial, le score F1. Ce score indique leur efficacité pour détecter les contenus générés par l’IA et reconnaître ceux qui sont rédigés par des humains.
• Tous les outils se sont montrés plutôt performants pour éviter les confusions, avec des taux d’erreur compris entre 0,8 % et 7,6 %.
• Leur capacité à détecter les contenus générés par l’IA variait considérablement, de 19,8 % à 98,4 %.

Test n° 2 — Comment chaque détecteur d’IA identifie les contenus difficiles à distinguer :

Comprendre les données avec Bypass Engine — Un aperçu de notre deuxième expérience avec des jeux de données complexes 

[Modèle Turbo 3.0.1]

[Modèle Lite 1.0.0]

Winston.AI — Essai — Deuxième expérience avec des données complexes

Winston.ai F1 = 52.0

Tree.AI — Tableau des confusions — Vérification des données complexes de l’expérience n° 2

Sapling.ai F1 = 37.9

GPTZero face à la confusion – Deuxième étape : test avec des données complexes

GPTZero F1 = 34.2

Explorer Content at Scale – Comprendre les confusions – Expérience n° 2 : test avec des données complexes

ContentatScale F1 = 33.4

CopyLeaks : Tests sur des jeux de données complexes

F1 de CopyLeaks = 32.9

Problèmes avec le test n° 2 :

Saisie simplifiée : nous avons dû vérifier manuellement certains outils d’IA comme ContentAtScale, TurnItIn et WinstonAI, car les ordinateurs ne pouvaient pas tout faire. Il peut subsister des erreurs, mais nous avons revérifié les points incertains.

Qualité des données : le jeu de données provenait d’un ensemble beaucoup plus vaste et n’avait pas été entièrement nettoyé ; certains exemples peuvent donc ne pas être parfaits.

Le 13 février 2024, nous avons testé notre nouveau détecteur d’IA et effectué d’autres vérifications du 24 au 28 juillet 2023. Ces tests montrent son fonctionnement à l’époque, mais ne permettent pas forcément de savoir comment il se comportera par la suite.

Notre équipe spécialisée dans l’IA estime que l’utilisation de seulement 2 000 tests ne suffit pas à comprendre pleinement son fonctionnement.

Vous voulez vérifier sa précision sur différents types d’informations ? Utilisez notre outil gratuit avec de nombreux types de données.

• Outil et jeu de données open source pour comparer les détecteurs d’IA : désormais disponibles

Test n° 3 – Autres jeux de données pour la détection de l’IA et 5 tests supplémentaires :

Voici davantage de données à tester. 

Nous n’avons pas testé tous les outils avec ces données, mais nous avons évalué Bypass Engine. Voici ses résultats.

Toutes ces données proviennent d’articles de recherche accessibles à tous.

Nous comparons ci-dessous les modèles Lite et Turbo.

Test 3-A : dans quelle mesure ChatGPT ressemble-t-il à de véritables experts humains ?

• L’étude montre que le modèle surpasse les évaluateurs humains et même les meilleurs experts de 8,8 %. Il obtient également de meilleurs scores à différents tests que les autres modèles étudiés.
• https://arxiv.org/pdf/2301.07597.pdf
• https://huggingface.co/datasets/Hello-SimpleAI/HC3

Test 3-A de Bypass Engine : transformer les textes de ChatGPT en langage humain

[Modèle Turbo 3.0.1]

‍

[Modèle Lite 1.0.0]

Test 3-B : vérifier comment repérer les articles scientifiques rédigés par des ordinateurs

• https://aclanthology.org/2023.trustnlp-1.17.pdf.
• https://huggingface.co/datasets/tum-nlp/IDMGSP
• Selon l’échelle de test, notre modèle est plus précis que quatre autres. Il n’a pas besoin d’être entraîné sur des articles de recherche. Toutefois, si les trois autres modèles apprennent à partir de presque tous les types de données de test, ils obtiennent des résultats légèrement meilleurs que le nôtre. 

Bypass Engine : test n° 3-B pour repérer les essais rédigés par l’IA

[Modèle Turbo 3.0.1]

[Modèle Lite 1.0.0]

‍Jeu de données et résultats

Test 3-C : repérer les textes rédigés par de grands systèmes d’IA

• L’article a montré que l’unicité surpassait tous les détecteurs testés.
• Article : https://arxiv.org/pdf/2305.15047.pdf
• Jeu de données : https://github.com/vivek3141/ghostbuster (2,895 échantillons)

Test Ghostbuster — Matrice de confusion — Bypass Engine, test 3-C

[Modèle Turbo 3.0.1]

[Modèle Lite 1.0.0]

‍Jeu de données et résultats

Test 3-D — Comprendre comment l’IA peut repérer les essais qu’elle a elle-même rédigés

• Nous avons obtenu un score parfait de 100 % dans les deux catégories.
• Les articles rédigés par des étudiants suédois apprenant l’anglais montrent l’efficacité de notre modèle avec les personnes qui apprennent l’anglais.
• Nous avons surpassé tous les modèles mentionnés ici.
• https://www.mdpi.com/2076-3417/13/13/7901
• https://github.com/rcorizzo/one-class-essay-detection

Bypass Engine — Comprendre la matrice de confusion — Test n° 3-D — Repérer les essais rédigés par l’IA

[Modèle Turbo 3.0.1]

‍Jeu de données et résultats

Test 3-E — Repérer l’IA : identifier les essais scolaires de ChatGPT avec CheckGPT

• Notre système s’est révélé très performant pour repérer les textes générés par l’IA. Il a obtenu le bon résultat dans 96.7 % des cas. Cela inclut des sujets complexes comme la physique, l’informatique et les sciences sociales, sur lesquels nous ne nous étions pas concentrés lors de la conception du système. GPTZero a obtenu 61.2 %.
• Nous avons vérifié 9,000 exemples et obtenu le bon résultat dans 94.5 % des cas, soit presque autant que la meilleure étude comparable. Même en testant différentes méthodes, nous avons obtenu d’excellents résultats et avons largement surpassé GPTZero pour déterminer si un contenu avait été généré par l’IA.
• https://arxiv.org/pdf/2306.05524.pdf
• https://huggingface.co/datasets/julianzy/GPABenchmark

TryMe Originality – Confusion Puzzle – Test #3-E – Saurez-vous me repérer ?

[Modèle Turbo 3.0.1]

‍Jeu de données et résultats

Autres études 

Les études et données dont nous n’avons pas parlé présentent les mêmes problèmes…

• Échantillons trop réduits (100 exemples, ce n’est tout simplement pas suffisant !)
• Délais importants — Lorsqu’une étude met longtemps à être publiée, cela pose problème, car les choses évoluent rapidement.
• Données non partagées — Lorsque les études ne communiquent pas leurs données, c’est toujours décevant.
• Comparaison des outils — Chaque fois que des outils ou leur précision sont comparés, les données utilisées devraient être communiquées. 
• Tests d’IA trop simples — Concevoir des tests difficiles pour distinguer l’IA de l’humain est complexe et coûteux, mais créer des tests faciles est trop peu exigeant. Un test basé sur des données générées par GPT-2 ne nous apprend pas grand-chose.
• Autres tests à consulter :
• Détecteur d’IA HuggingChat 
• Vérificateur de plagiat par paraphrase

Des groupes indépendants ont mené six études supplémentaires. Ils ont constaté qu’Original était la solution la plus précise.

• Étude de notre capacité à repérer les textes générés par l’IA
• Étude des méthodes permettant de détecter les textes générés par l’IA
• Quelle est l’efficacité des programmes pour détecter les textes générés par l’IA ?
•  Un examen approfondi de l’étude « RAID » 
• Quand l’IA rédige sur des sujets médicaux
• Recherches sur le rôle de l’IA dans les synthèses scientifiques
• Vérifier si les étudiants utilisent l’IA pour leurs devoirs

Nous avons utilisé nos propres données ainsi que d’autres données accessibles à tous. Les tests montrent systématiquement qu’Originality.ai est performant pour repérer les contenus générés par l’IA.

Tous les outils qui détectent les textes générés par l’IA

Voici un guide simple pour trouver des outils de détection de contenu généré par l’IA. Si vous souhaitez comparer davantage de détecteurs d’IA et découvrir ce qu’ils proposent, consultez cet article : « 22 outils de détection de contenu généré par l’IA. » 

Liste des outils :

1. HuggingFace
2. GLTR.io AI 
3. Passed.AI
4. Writer.com 
5. Willieai.com 
6. GPTZero
7. ContentAtScale
8. CopyLeaks
9. POE Poem of Quotes
10. DetectGPT
11. On-Page.AI
12. GPTRadar.com
13. Percent Human
14. Grover 
15. KazanSEO
16. Sapling
17. CrossPlag
18. CheckForAI.com
19. Draft & Goal
20. GPTkit.ai
21. ParaphrasingTool.ai 
22. Classificateur de texte OpenAI (supprimé)
23. Vérification de rédaction par IA
24. Winston AI
25. InkForAll
26. ContentDetector.ai
27. WriteFull
28. ZeroGPT
29. TurnItIn
30. Bypass Engine

Les tests ont prouvé que certains outils étaient meilleurs que d’autres ! De nombreux outils ont été développés rapidement et utilisent simplement un détecteur GPT-2 Open Source très populaire (il a été téléchargé 195k fois le mois dernier).

Pourquoi notre modèle est-il plus performant ?

Voici pourquoi nous pensons qu’Originality.ai détecte bien mieux les contenus rédigés par une IA que les autres solutions disponibles :

1. Ce modèle d’IA nécessite beaucoup de puissance de calcul, ce qui le rend coûteux à utiliser. Il ne peut donc pas être gratuit ni financé par la publicité.
2. Cette IA aide les personnes qui écrivent sur Internet. Elle apprend en analysant des contenus en ligne afin de déterminer si un texte a été rédigé par un humain ou une IA. Elle n’analyse pas les livres anciens, car leur style d’écriture est différent.
3. L’IA s’améliore en étudiant des questions complexes et des tentatives de contournement, puis évolue pour répondre plus précisément aux nouveaux problèmes.

Pour conclure 

L’équipe de Bypass Engine a travaillé très dur pour améliorer son détecteur de contenu IA et viser les meilleures performances.

Les résultats…

• Bypass Engine lance Lite 1.0.0.
  • Lite 1.0.0 est extrêmement précis, avec un taux de réussite de 98 %. Il ne se trompe que 1 % du temps. Vous pouvez également l’utiliser pour améliorer votre rédaction, notamment grâce à des suggestions similaires à celles de Grammarly. Il est parfait pour les travaux scolaires.
• Bypass Engine lance la version 3.0.1 Turbo
  • Turbo 3.0.1 obtient presque toujours de bons résultats, avec très peu d’erreurs, et il est difficile à tromper.
  • Si vous ne voulez vraiment aucun contenu généré par une IA dans votre rédaction, choisissez la version Turbo 3.0.1. 
  • Si cela ne vous dérange pas de corriger quelques petits détails, optez pour Lite.
• Dans six études différentes, la dernière version de Bypass Engine a obtenu les meilleurs résultats en fournissant à chaque fois des réponses précises.
• Nous avons testé six outils capables de déterminer si un texte a été rédigé par une IA sur un nouvel ensemble de tests particulièrement exigeant. Le meilleur détecteur de contenus générés par une IA était Bypass Engine.
• Un nouvel outil facile à utiliser et un ensemble de données spécial pour tester rapidement les détecteurs créés et partagés

Nous espérons que cet article vous permettra de mieux comprendre les détecteurs d’IA et leur précision. Nous voulons vous donner les outils nécessaires pour effectuer vos propres vérifications si le sujet vous intéresse. 

Nous croyons que…

1. Nous devons faire preuve de transparence et de responsabilité lors de la création et de l’utilisation de l’IA.
2. Les outils capables de détecter l’IA peuvent contribuer à réduire certains effets néfastes qu’elle pourrait avoir sur la société. 
3. La précision des outils de détection de l’IA doit être communiquée clairement et de manière responsable, comme nous l’exigeons pour la création et l’utilisation de l’IA.

Nous espérons que cette étude vous sera utile. Vous avez des questions sur Bypass Engine ? 

Contactez-nous.

Vous envisagez de réaliser vos propres tests ? Faites-le-nous savoir. Que vous soyez étudiant, journaliste ou simplement curieux d’en apprendre davantage, nous sommes là pour vous aider. 

Découvrez la précision de Bypass Engine dans différentes études et essayez vous-même notre détecteur d’IA !