Prüfung von KI-Inhaltsdetektoren: Wie gut sind sie und welche Tools kannst du nutzen? 

Wir halten es für äußerst wichtig, dass Tools zur Erkennung KI-generierter Inhalte transparent, ehrlich und verantwortungsvoll arbeiten. Jeder, der herausfinden möchte, ob etwas von einer KI verfasst wurde, sollte leicht erkennen können, welches Tool für die jeweiligen Anforderungen am besten geeignet ist.

Tools zur KI-Erkennung sind wichtig, liegen aber nicht immer richtig. Nutzer müssen wissen, was diese Tools leisten können und wo ihre Grenzen liegen. Die Anbieter solcher Tools sollten transparent darlegen, wie zuverlässig ihre Lösungen arbeiten.

Es gibt Informationen darüber, wie gut das Tool Bypass Engine funktioniert, darunter auch Berichte aus verschiedenen Studien.

Du kannst das Tool Bypass Engine kostenlos testen, indem du hier klickst.

Unseren KI-Detektor testen 

Dieser Leitfaden zeigt dir, wie du den besten KI-Content-Detektor auswählst. Er erklärt, wie diese Tools funktionieren, und stellt Werkzeuge bereit, mit denen du ihre Genauigkeit testen kannst. Enthalten sind:

• Ein Datensatz, den wir beide verwenden können, um die Leistungsfähigkeit von KI-Detektoren zu testen.
• Ein einfaches Tool, das überprüft, wie gut KI Inhalte aus verschiedenen Sammlungen erkennt.
• Anleitungen und ein Rechner zur Auswahl der besten Tests für die Erkennung.
• Klare Berichte, die mithilfe öffentlich zugänglicher Daten zeigen, was wirklich stimmt.

Dieser Leitfaden hilft dir dabei, KI-Detektoren zu erkennen, ihre Leistungsfähigkeit zu überprüfen, eigene Experimente durchzuführen und verschiedene Tools miteinander zu vergleichen. 

Hast du Fragen? Kontaktiere uns!

Kurz und bündig:

• Lite ist jetzt die beliebteste Wahl für einfache KI-Unterstützung (wie sie etwa Grammarly bietet) und ersetzt die Standardversion.
• Turbo 3.0.1 ist ein besonders intelligentes Tool, das selbst die kleinsten Hinweise auf KI erkennt.
• Wähle Turbo 3.0.1 für Arbeit ohne KI.
• Wähle Lite für einfachere KI-Unterstützung und weniger Fehler.
• Bypass Engine ist bei der Überprüfung von Texten noch besser geworden und damit der genaueste KI-Detektor auf dem Markt.

Die KI-Erkennung liegt nicht immer richtig. Manche glauben, sie erfasse alles, während andere meinen, dass sie vieles übersieht. Die Wahrheit liegt irgendwo dazwischen. Wir warten alle gespannt darauf, ob OpenAI oder jemand anderes uns etwas anderes zeigen kann.

– Transparenz und Verantwortungsbewusstsein sind bei der Entwicklung und Nutzung von KI wichtig. 

– KI-Detektoren können dabei helfen, einige der negativen Auswirkungen generativer KI auf die Gesellschaft einzudämmen.

Eine transparente und verantwortungsvolle KI-Erkennung trägt dazu bei, Fairness und Sicherheit für Studierende und Berufstätige zu gewährleisten. Bypass Engine unterstützt den verantwortungsvollen Einsatz von KI. Das Tool setzt sich für Transparenz ein und sorgt dafür, dass Menschen den Inhalten, die sie sehen oder lesen, vertrauen können.

Die FTC mahnt zur Vorsicht bei Behauptungen darüber, wie gut KI in der Lage ist, KI-generierte Inhalte zu erkennen.

KI-Tools zur Überprüfung von Inhalten müssen nachweisen, dass sie diese Aufgabe wirklich zuverlässig erfüllen. Unbelegte Behauptungen über ihre Leistungsfähigkeit können für alle Beteiligten schwerwiegende Folgen haben. 

Die FTC sagt, dass wir Tools nicht vertrauen sollten, wenn sie ihre zuverlässige Funktionsweise nicht nachweisen können. Die Anbieter dieser Tools stimmen der FTC zu und machen ihre Arbeit für alle überprüfbar. 

Es gab bereits Probleme, etwa einen Lehrer, der aufgrund solcher Fehler versehentlich eine ganze Klasse durchfallen ließ.

Die Auswirkungen von KI-generierten Inhalten, die Menschen nicht als solche erkennen können, sind gravierend. 

Wir brauchen Tools, die solche KI-generierten Inhalte erkennen können. Die derzeit verfügbaren Tools und Studien sind noch nicht leistungsfähig genug, um die großen Probleme zu bewältigen, die solche Inhalte verursachen können.

1. Weit verbreitete irreführende Informationen. 
2. Unwahre Geschichten. 
3. Schädliche, unerwünschte Nachrichten. 
4. Unfaires Abschreiben in der Schule / Abschreiben von Arbeiten mithilfe von KI. 
5. Falsche Überzeugungen.
6. Betrügerische Autoren. 
7. Betrügerische Unternehmen.
8. Erfundenes Lob für Produkte.
9. Gefälschte Bewerbungsunterlagen. 
10. Erfundene Bewerbungsaufsätze für Hochschulen.
11. Erfundene Stipendienanträge.

Versionsverlauf von Originality.ai:

November 2022 : Eine Testversion wurde veröffentlicht. Sie erschien noch vor ChatGPT und konnte GPT-2, GPT-NEO, GPT-J und GPT-3 erkennen. Mit einigen kleinen Änderungen ließ sie sich jedoch umgehen.

April 2023 : Das System konnte besser erkennen, ob ein Text von ChatGPT erstellt wurde – selbst wenn jemand die Formulierungen verändert hatte. Die Fehlerquote war nun niedriger.

August 2023 : Die Genauigkeit wurde verbessert und KI-veränderte Inhalte konnten besser erkannt werden. Außerdem wurde ein kostenloser Datensatz veröffentlicht und ein neues Tool zum Testen von KI-Detektoren gestartet.

Februar 2024 : Turbo 3.0 wurde mithilfe neuer KI-Technologien wie Grok, Mixtral, GPT-4 Turbo, Gemini und Claude 2 verbessert. Das Modell erreichte eine Genauigkeit von 98,8 % und machte deutlich weniger Fehler.

Juli 2024 : Lite 1.0.0 wurde veröffentlicht. Das Modell ist zu 98 % genau und weist eine Fehlerquote von weniger als 1 % auf. Außerdem hilft es dabei zu erkennen, ob ein Text mit Unterstützung von KI-Tools wie Grammarly verfasst wurde.

September 2024 : Lite wurde als bestes Modell ausgewählt und die älteren Modelle wurden eingestellt.

Oktober 2024 : Turbo 3.0.1 wurde entwickelt. Das Modell liegt mit einer Fehlerquote von weniger als 3 % fast nie falsch. Es wurde so konzipiert, dass es sich nicht von KI täuschen lässt, und ist besonders widerstandsfähig gegenüber Manipulationsversuchen.

So funktioniert unser KI-Detektor: Eine einfache Anleitung

Wir verfügen über ein System, das erkennen kann, ob etwas von einem Computer oder von einem Menschen verfasst wurde.

Das System wird besser, indem es zahlreiche von KI und Menschen verfasste Beispiele untersucht. Mithilfe eines leistungsstarken Modells lernt es, die Unterschiede zwischen ihnen zu erkennen.

Möchtest du wissen, wie man von Computern verfasste Inhalte erkennt?

Wie Maschinen von KI verfasste Texte erkennen 

Hier ist eine einfache Erklärung der drei wichtigsten Methoden, mit denen ein Tool – in der Welt des maschinellen Lernens oft „Classifier“ genannt – feststellen kann, ob ein Text von einer KI oder einem Menschen geschrieben wurde.

1. Probleme mithilfe von Merkmalen lösen

• Erkennt Muster, die nur von KI erstellte Texte aufweisen.
• Burstiness zeigt, wie stark wir bestimmte Wörter gemeinsam wiederholen. Menschen verwenden manche Formulierungen häufig, während KI ihre Wortwahl stärker variiert.
• Verwirrtheit misst, wie leicht sich das nächste Wort vorhersagen lässt. Von KI verfasste Texte sind in der Regel leichter vorherzusagen (weniger verwirrend), während von Menschen geschriebene Texte schwerer einzuschätzen sind (verwirrender).
• Häufigkeitsmerkmale – Dabei wird untersucht, wie oft bestimmte Wörter oder Formulierungen vorkommen. Ungewöhnliche Muster können darauf hindeuten, dass KI beteiligt war.
• Studien haben gezeigt, dass von KI erstellte Texte, insbesondere ältere Varianten, in der Regel leicht verständlich sind.
• KI verwendet Satzzeichen korrekt, doch ihre Verwendung wirkt möglicherweise nicht so natürlich wie in von Menschen verfassten Texten.
• Vorteile: Schnell, spart Geld und eignet sich gut für ältere KI-Systeme.
• Nachteile: Hat Schwierigkeiten mit komplexen Modellen wie GPT-4 und Bard.
• Beispiele: GPTZero, Winston AI

2. Ein Zero-Shot-Ansatz

• KI gleicht Texte mit ihrem eigenen Schreibstil ab.
• Vorteile: Einfach zu bedienen, ohne zusätzlichen Lernaufwand.
• Nachteile: Durch Umformulierungen leicht zu umgehen
• Beispiele: GPTZero, ZeroGPT

3. So machen wir KI noch intelligenter

• Prüft mithilfe intelligenter Programme wie BERT und RoBERTa, wodurch sich von KI verfasste Texte von menschlichen Texten unterscheiden.
• Vorteile: Die beste Möglichkeit herauszufinden, wer den Text erstellt hat.
• Nachteile: Teuer und langsam bei der Anpassung an die neuesten KI-Modelle.
• Beispiele: Originality.ai AI Detector, OpenAI Text Classifier (eingestellt)

Der hier beschriebene Test prüft anhand aller zuvor genannten Strategien, wie gut verschiedene Detektoren funktionieren.

Testplan:

Wir haben den neuen KI-Inhaltsprüfer von Bypass Engine auf verschiedene Arten getestet:

1. Wir haben drei verschiedene Arten mit zahlreichen Beispielen untersucht. 

2. Wir haben getestet, wie gut er bei einem anspruchsvollen, kleinen Datensatz abschneidet. 

3. Wir haben ihn mit unseren eigenen Tools getestet und die Informationen manuell eingegeben, wenn keine automatische Methode verfügbar war. 

4. Wir haben bekannte Datensätze verwendet, um zu prüfen, wie gut Originality.ai tatsächlich ist. 

Wir können den zweiten Test auch mit einem frei verfügbaren Tool und speziellen Datensätzen wiederholen. 

Unseren neuen adversarialen Datensatz zur KI-Erkennung entdecken:

Wir stellen einen speziellen Datensatz bereit, mit dem sich die Leistungsfähigkeit von KI-Detektoren prüfen und ihre Grenzen aufzeigen lassen. Er enthält:

• Anspruchsvolle, von Robotern erstellte Geschichten, etwa Texte von ChatGPT-4 oder veränderte KI-Texte. Von Menschen verfasste Inhalte zum Vergleich.

Diese Daten stammen aus einer großen Gruppe, wurden jedoch nicht für die Haupttests ausgewählt. So wird sichergestellt, dass die Tests fair und unvoreingenommen sind.

Sieh dir die Tabelle unten an. Sie enthält eine Liste von Datensätzen sowie eine kurze Beschreibung zu jedem einzelnen. 

Du kannst den Datensatz herunterladen, indem du hier klickst.

Was ist die beste Methode zur Überprüfung? Teste deine eigenen Daten!

Die Verwendung von KI-Tools mit deinen Informationen hilft, sie genauer zu machen. Allerdings musst du sie möglicherweise etwas anpassen, damit gefälschte Beiträge erkannt werden. Probiere unser kostenloses Tool aus, um zu prüfen, wie gut der Detektor mit deinen Daten funktioniert.

So findest du es heraus und entdeckst kostenlose Tools für alle:

Menschen haben Tools entwickelt, die dabei helfen, KI-generierte Inhalte besser zu erkennen. Sie liefern Informationen, Zahlen und klare Details. Ihr bestes Tool arbeitet mithilfe eines speziellen Codes mit KI-Detektoren zusammen, um die Prüfung einfach und zuverlässig zu machen.

1. Alle Tests nahezu gleichzeitig an einem einzigen Tag durchführen.
2. Sicherstellen, dass jedes Tool exakt denselben Text erhält, ohne Änderungen an seiner Darstellung.
3. Datensätze schnell testen, sobald sie verfügbar sind.
4. Potenzielle Kunden oder Forschende ihre Daten testen lassen, um den besten KI-Detektor für ihre Anforderungen zu ermitteln.

Neue LLMs kommen sehr schnell auf den Markt – und auch die KI-Erkennung wird immer besser. Das bedeutet: Wenn eine Studie 4 Monate bis zur Veröffentlichung braucht, ist sie bereits veraltet. 

Funktionen dieses Tools:

• Kostenlos und ohne Bezahlung verfügbar
• Kann große Textmengen mit verschiedenen KI-Detektoren prüfen 
• Liefert dir die Informationen schnell 
• Ermittelt automatisch, wie gut die Detektoren funktionieren (z. B. ihre Genauigkeit, Fehlerrate und mehr)

Hier findest du den Link zu einem großartigen Tool: https://github.com/OriginalityAI/AI-detector-research-

Tool. 

Wir haben außerdem drei einfache Methoden hinzugefügt, mit denen du unser Tool mit deinen Datensätzen verwenden kannst.

1. KI-generierte Inhalte in Microsoft Excel finden
2. KI-generierte Inhalte in Google Sheets suchen. 
3. KI-Inhalte in AirTable finden.

Unsere Einschätzung zur Verwendung von KI-Detektoren an Schulen und zum Problem mit Fehlentscheidungen

Sich allein anhand von KI-Werten zu entscheiden, ob jemand etwas falsch gemacht hat, kann zu Fehlentscheidungen führen. 

Um Fehlentscheidungen zu vermeiden, haben die Entwickler einen Leitfaden für Autoren und Studierende sowie ein kostenloses Chrome-Tool bereitgestellt, mit dem sich die Originalität von Arbeiten prüfen lässt.

Die neue Version 1.0.0 Lite wurde für Schulen entwickelt und hilft dabei, kleinere Korrekturen mit Tools ähnlich wie Grammarly einfach vorzunehmen.

So prüfst du die Genauigkeit von KI-Detektoren

So ermitteln wir, wie gut KI-Detektoren zur Erkennung KI-generierter Inhalte tatsächlich sind. Das wird vielleicht etwas technisch, aber wenn du tiefer einsteigen möchtest, haben wir weitere Details für dich zusammengestellt. 

Eine einzelne Zahl, die angibt, wie gut ein Detektor ist, hilft uns überhaupt nicht wirklich! 

Du solltest einer einzelnen „Accuracy“-Angabe nicht vertrauen, ohne mehr über ihre Aussagekraft zu wissen. 

Sehen wir uns die verschiedenen Möglichkeiten an, mit denen wir die Leistungsfähigkeit dieser Detektoren beurteilen können …

Konfusionsmatrix 

Die Konfusionsmatrix und der F1-Score zeigen uns, wie gut ein KI-Modell zwischen echten und KI-generierten Inhalten unterscheiden kann. Das lässt sich auf einen Blick in einer einzigen Darstellung erkennen.

• Richtig positiv (TP) bedeutet, dass KI-generierter Text korrekt erkannt wird.
• Übersehen (FN) – Der KI-Detektor lag falsch und stufte KI-generierte Inhalte als von einem Menschen verfasst ein. 
• Fehlalarm (FP) – Der KI-Detektor lag falsch und behauptete, von Menschen verfasste Inhalte stammten von einer KI. 
• Richtig negativ – Inhalte, die von Menschen verfasst wurden, werden korrekt erkannt.

Eine Konfusionsmatrix mit GPT-4 und von Menschen verfassten Daten verstehen – einfache Version 1.4

True-Positive-Rate — KI-Texte erkennen

Damit wird KI-generierter Text in x% der Fälle korrekt erkannt. Die True-Positive-Rate, kurz TPR, wird auch Sensitivität, Trefferquote oder Recall genannt.

• True-Positive-Rate TPR = TP / (TP & FN)

True-Negative-Rate — Von Menschen verfasste Texte erkennen:

Damit wird in x% der Fälle korrekt erkannt, ob Inhalte von einem Menschen verfasst wurden. Die True-Negative-Rate TNR wird auch Spezifität oder Selektivität genannt.

• True-Negativ-Rate TNR = TN / (TN & FP) = 1- FPR

Genauigkeit:

Nur richtig zu liegen, ist nicht alles – einige Tools, die KI-Texte erkennen, behaupten zwar, besonders gut zu sein, zeigen aber nicht, wie sie funktionieren.

• Genauigkeit = True / (True + False) = (TP + TN) / (TP + TN + FB +FN)

F1:

Eine Kennzahl, die Genauigkeit und das Erkennen aller wichtigen Fälle sinnvoll kombiniert, um KI-Detektoren fair zu bewerten.

• F1 = 2 x (PPV x TPR) / (PPV + TPR), wobei Precision (PPV) = TP / (TP + FP)

Kennzahlen, die wir in Betracht gezogen, aber nicht verwendet haben:

• Wir haben ROC und AUROC nicht einbezogen, weil wir die Empfindlichkeit anderer Tools nicht anpassen können und manche Tools keine prozentualen Bewertungen verwenden.
• Auch Precision, also PPV =TP /(TP+FP), wird nicht verwendet.

Was genau gilt also als KI-Inhalt?

Was gilt als KI-Inhalt und was nicht? Da immer mehr Texte sowohl von Menschen als auch von KI-Assistenten verfasst werden, ist es schwer zu erkennen, was rein von einer KI stammt! 

Einige Studien haben ungewöhnliche Entscheidungen darüber getroffen, welche Texte sie als echt menschlich oder KI-generiert einstufen. 

Eine Studie untersuchte beispielsweise von Menschen in verschiedenen Sprachen verfasste Texte, die anschließend mit KI ins Englische übersetzt wurden, und bezeichnete sie dennoch als authentische menschliche Arbeit. 

Beschreibung des Datensatzes:

Zu behaupten, der von der KI erstellte Datensatz scheine von einer Person verfasst worden zu sein???

https://arxiv.org/pdf/2306.15666.pdf

KI-Detektoren müssen erkennen können, wenn von einer KI erstellte Texte stark verändert wurden. Selbst kleine Bearbeitungen können verschleiern, dass ein Text von einer KI stammt. Deshalb ordnen wir von KI beeinflusste Inhalte unterschiedlich ein.

• KI-generierter Text = Von einer KI erstellt
• Von Menschen überarbeiteter KI-Text = Von einer KI erstellt
• Von einer KI erstellt und umfassend von Menschen verändert = Von einer KI erstellt
• Von einer KI geplant, aber umfassend von Menschen erstellt und verändert = Von einer KI erstellt
• Von Menschen verfasster Text mit wenig KI-Unterstützung = Das kommt darauf an
• Von einer KI durchgeführte Recherche, aber von Menschen verfasst = Tatsächlich von Menschen erstellt
• Sowohl das Schreiben als auch die Prüfung von Menschen durchgeführt = Tatsächlich von Menschen erstellt

Je häufiger wir KI beim Schreiben einsetzen, desto leichter lässt sich erkennen, dass ein Text von einer KI verfasst wurde. Die Journalistin Kristi Hines und andere haben dies untersucht. Ihre Ergebnisse veröffentlichten sie im Search Engine Journal.

Wir prüfen, wie einzigartig die neue Lite-Version von Bypass Engine für das Update im Juli 2024 ist.

Endlich! Zeit für ein paar Tests

Ständig kommen neue und bessere LLMs hinzu. Deshalb müssen wir unsere Modelle und Testmethoden regelmäßig aktualisieren. 

Lerne Version Lite 1.0.0 kennen.

Mit unserem Release vom Juli 2024 erscheint Version Lite 1.0.0. Sieh dir an, wie dieses neue Lite-Modell in unseren Tests abgeschnitten hat.

1. Die Lite-Version erkennt von Menschen verfasste Inhalte besonders zuverlässig und macht nur wenige Fehler – selbst wenn es darum geht, kleine von einer KI vorgenommene Änderungen zu erkennen.
2. Leistung bei verschiedenen Datensätzen

• Lite Version 1.0.0 kann erkennen, ob Inhalte teilweise durch KI bearbeitet oder vollständig von einer KI erstellt wurden.
• Die Wahrscheinlichkeit, dass sie sich irrt, wenn sie etwas als KI-generiert einstuft, ist mit nur 1 % besonders gering (besser als bei der älteren Version 2.0.0). Auch beim Übersehen von KI-generierten Inhalten schneidet sie gut ab: Die Fehlerquote liegt bei nur 2 %. 
• In 4 von 10 durchgeführten KI-Tests war sie am genauesten.

3. Die wichtigsten Punkte: Sehr niedrige Fehlerquote und besonders gut darin, Inhalte mit geringfügigen KI-Änderungen zu erkennen.

Version Lite 1.0.0 erkennt von KI-Tools wie Grammarly vorgenommene Änderungen besonders zuverlässig und liegt dabei so gut wie nie falsch. Das macht sie ideal für Schulen und Bildungseinrichtungen.

6 Tools zum Erkennen von versteckter KI im Test

Als Nächstes prüfen wir, wie gut verschiedene AI-Detektoren funktionieren, indem wir sie testen.

Für die wiederholte Durchführung dieser Tests haben wir … verwendet

1.  Lerne unser brandneues Tool kennen: den Open-Source-Prüfer für die Genauigkeit von AI-Detektoren. 
2. Sieh dir diese kostenlosen Datensätze an, mit denen du die Tools vergleichen kannst:

• Open-Source-Benchmark zur Erkennung von Angreifer-KI
• Datensatz zur Ermittlung von Verzerrungen bei ChatGPT-Detektoren

Test Nr. 2 ist anspruchsvoll. Er verwendet schwierige Einstellungen für GPT-3, GPT-4, ChatGPT- und Paraphraser-Daten. Er ist nicht mit den meisten Tools zur AI-Erkennung vergleichbar, die mit gewöhnlichen AI-Inhalten arbeiten.

Test Nr. 2 ansehen – unsere Ergebnisse 

Die Ergebnisse, Daten und Details kannst du hier herunterladen:

• https://drive.google.com/drive/folders/14uCk9s8ypSp63Yd-M4EGYr9uDyO4U9D0?usp=drive_link

Test Nummer 2 – Ergebnisse der Prüfung, ob AI AI-generierte Texte erkennen kann:

Wir haben diesen Test mit einer älteren Version, 2.0.0, durchgeführt, verwenden sie aber nicht mehr. 

Sehen wir uns nun an, wie gut unsere neueste Version namens Lite bei diesen Tests abgeschnitten hat.

• Die Tabelle ist nach einer speziellen Kennzahl, dem F1-Wert, sortiert. Diese Kennzahl zeigt, wie gut das Tool AI-Inhalte erkennt und von Menschen erstellte Inhalte identifiziert.
• Alle Tools schnitten bei der Vermeidung von Verwechslungen recht gut ab – die Fehlerquote lag zwischen 0.8% und 7.6%.
• Wie gut sie AI-Inhalte erkennen konnten, variierte stark und lag zwischen 19.8% und 98.4%.

Test Nr. 2 – So erkennt jeder AI-Detektor, was verwirrend ist:

Daten verstehen mit Bypass Engine – Ein einfacher Blick auf unser zweites Experiment mit anspruchsvollen Datensätzen 

[Turbo-Modell 3.0.1]

[Lite-Modell 1.0.0]

Winston.AI – im Test – Zweites Experiment mit anspruchsvollen Daten

Winston.ai F1 = 52.0

Tree.AI – Verwechslungen in der Tabelle – Prüfung der Testdaten aus Experiment Nr. 2

Sapling.ai F1 = 37.9

GPTZero gegen Verwechslungen – Runde 2: Test mit anspruchsvollen Daten

GPTZero F1 = 34.2

Inhalte im großen Maßstab untersuchen – Verwechslungen verstehen – Experiment Nr. 2: Test mit anspruchsvollen Daten

ContentatScale F1 = 33.4

CopyLeaks: Tests mit anspruchsvollen Datensätzen

CopyLeaks F1 = 32.9

Probleme mit Test Nr. 2:

Eingaben leicht gemacht: Einige KI-Tools wie ContentAtScale, TurnItIn und WinstonAI mussten wir manuell überprüfen, weil Computer nicht alles erledigen konnten. Es kann zu Fehlern kommen, aber bei unsicheren Angaben haben wir noch einmal genau nachgesehen.

Datenqualität: Der Datensatz stammte aus einer deutlich größeren Sammlung und wurde nicht vollständig bereinigt. Daher sind einige Beispiele möglicherweise nicht perfekt.

Am 13. Februar 2024 haben wir unseren neuen AI-Detektor überprüft und außerdem Prüfungen vom 24. bis 28. Juli 2023 durchgeführt. Diese Tests zeigen, wie er damals funktioniert hat, sagen aber möglicherweise nicht aus, wie er später abschneiden wird.

Unser AI-Forschungsteam sagt, dass 2.000 Tests allein nicht ausreichen, um vollständig zu zeigen, wie der Detektor funktioniert.

Du möchtest anhand verschiedener Informationen prüfen, wie zuverlässig es ist? Nutze unser kostenloses Tool mit zahlreichen Datentypen.

• Open-Source-Vergleichstool und Datensatz für KI-Detektoren: Jetzt verfügbar

Test Nr. 3 – Weitere Datensätze zur KI-Erkennung und 5 zusätzliche Tests:

Hier sind weitere Daten, die du ausprobieren kannst. 

Wir haben nicht alle Tools mit diesen Daten getestet, aber Bypass Engine damit geprüft. So hat Bypass Engine abgeschnitten.

Alle diese Daten stammen aus Forschungsarbeiten, die jeder lesen kann.

Im Folgenden betrachten wir die Unterschiede zwischen den Lite- und Turbo-Modellen.

Test 3-A: Wie ähnlich ist ChatGPT echten menschlichen Experten?

• Die Studie zeigt, dass das Modell menschliche Gutachter und sogar die besten Experten um 8,8 % übertrifft. Außerdem erzielt es bei verschiedenen Tests bessere Ergebnisse als andere in der Studie untersuchte Modelle.
• https://arxiv.org/pdf/2301.07597.pdf
• https://huggingface.co/datasets/Hello-SimpleAI/HC3

Bypass Engine Test Nr. 3-A: ChatGPTs Worte in menschliche Sprache verwandeln

[Turbo-Modell 3.0.1]

‍

[Lite-Modell 1.0.0]

Test 3-B: So erkennt man von Computern verfasste wissenschaftliche Artikel

• https://aclanthology.org/2023.trustnlp-1.17.pdf.
• https://huggingface.co/datasets/tum-nlp/IDMGSP
• Unser Modell ist laut der TestsSkala genauer als vier andere. Es muss nicht anhand wissenschaftlicher Arbeiten trainiert werden. Wenn die anderen drei Modelle jedoch mit nahezu allen Arten von Testdaten trainiert werden, schneiden sie etwas besser ab als unseres. 

Bypass Engine: Test Nr. 3-B zum Erkennen von KI-generierten Aufsätzen

[Turbo-Modell 3.0.1]

[Lite-Modell 1.0.0]

‍Datensatz und Ergebnisse

Test 3-C: Von großen KI-Systemen verfasste Texte erkennen

• Die Studie zeigte, dass das einzigartige Modell alle getesteten Detektoren übertraf.
• Studie: https://arxiv.org/pdf/2305.15047.pdf
• Datensatz: https://github.com/vivek3141/ghostbuster (2.895 Beispiele)

Ghostbuster-Test — Konfusionsmatrix — Bypass Engine, Test 3-C

[Turbo-Modell 3.0.1]

[Lite-Modell 1.0.0]

‍Datensatz und Ergebnisse

Test 3-D — Lernen, wie KI die von ihr selbst verfassten Aufsätze erkennt

• Wir erreichten in beiden Klassen ein perfektes Ergebnis von 100 %.
• Von schwedischen Schülern beim Englischlernen verfasste Artikel zeigen, wie gut unser Modell mit Englischlernenden funktioniert.
• Wir haben jedes hier erwähnte Modell übertroffen.
• https://www.mdpi.com/2076-3417/13/13/7901
• https://github.com/rcorizzo/one-class-essay-detection

Bypass Engine — Die Konfusionstabelle verstehen — Test Nr. 3-D — Von KI verfasste Aufsätze erkennen

[Turbo-Modell 3.0.1]

‍Datensatz und Ergebnisse

Test 3-E — Erkenne die KI: ChatGPTs Schulaufsätze mit CheckGPT finden

• Unser System war sehr gut darin, von KI erstellte Texte zu erkennen. In 96,7 % der Fälle lag es richtig. Dazu gehören schwierige Themen wie Physik, Informatik und Sozialkunde, auf die wir uns bei der Entwicklung des Systems nicht konzentriert hatten. GPTZero erreichte 61,2 %.
• Wir haben 9.000 Beispiele geprüft und lagen in 94,5 % der Fälle richtig – fast so gut wie die beste vergleichbare Studie. Obwohl wir auf unterschiedliche Weise getestet haben, schnitten wir sehr gut ab und waren GPTZero bei der Erkennung von KI-generierten Inhalten deutlich überlegen.
• https://arxiv.org/pdf/2306.05524.pdf
• https://huggingface.co/datasets/julianzy/GPABenchmark

TryMe Originality – Konfusionsrätsel – Test Nr. 3-E – Kannst du mich erkennen?

[Turbo-Modell 3.0.1]

‍Datensatz und Ergebnisse

Weitere Studien 

Die Studien und Daten, über die wir nicht gesprochen haben, weisen dieselben Probleme auf …

• Kleine Testreihen (100 Beispiele sind einfach nicht genug!)
• Lange Wartezeiten – Wenn es lange dauert, bis eine Studie veröffentlicht wird, ist das problematisch, weil sich die Dinge schnell ändern.
• Keine Datenfreigabe – Wenn Studien ihre Daten nicht veröffentlichen, ist das immer enttäuschend.
• Tools vergleichen – Wann immer Tools oder Genauigkeit verglichen werden, sollten die verwendeten Daten veröffentlicht werden. 
• Einfache KI-Tests – Anspruchsvolle KI-vs.-Mensch-Tests zu erstellen, ist schwierig und teuer, aber einfache KI-Tests sind zu simpel. Ein Test mit von GPT-2 erzeugten Daten sagt uns nicht viel.
• Weitere Studien im Überblick:
• HuggingChat-KI-Detektor 
• Plagiatsprüfung für paraphrasierte Texte

Dritte haben sechs weitere Studien durchgeführt. Sie kamen zu dem Ergebnis, dass Originalität am genauesten erkannt wird.

• Wie gut lassen sich KI-generierte Texte erkennen?
• Wie sich KI-generierte Texte erkennen lassen
• Wie gut sind Programme darin, KI-generierte Texte zu erkennen?
•  Ein ausführlicher Blick auf die „RAID“-Studie 
• Wenn KI medizinische Themen behandelt
• Forschung zur Rolle von KI bei wissenschaftlichen Zusammenfassungen
• Prüfung, ob Studierende KI für ihre Hausaufgaben nutzen

Wir haben eigene Daten sowie öffentlich zugängliche Daten verwendet. Die Tests zeigen weiterhin, dass Originality.ai KI-generierte Texte zuverlässig erkennt.

Jedes Tool zur Erkennung KI-generierter Texte

Hier ist eine einfache Anleitung, wie du Tools zur Erkennung von KI-Inhalten findest. Wenn du weitere KI-Prüfer und ihre Funktionen vergleichen möchtest, sieh dir diesen Artikel an: „22 AI Content Detection Tools.“ 

Liste der Tools:

1. HuggingFace
2. GLTR.io AI 
3. Passed.AI
4. Writer.com 
5. Willieai.com 
6. GPTZero
7. ContentAtScale
8. CopyLeaks
9. POE Poem of Quotes
10. DetectGPT
11. On-Page.AI
12. GPTRadar.com
13. Percent Human
14. Grover 
15. KazanSEO
16. Sapling
17. CrossPlag
18. CheckForAI.com
19. Draft & Goal
20. GPTkit.ai
21. ParaphrasingTool.ai 
22. OpenAI-Textklassifikator (entfernt)
23. KI-Schreibprüfung
24. Winston AI
25. InkForAll
26. ContentDetector.ai
27. WriteFull
28. ZeroGPT
29. TurnItIn
30. Bypass Engine

Die Tests haben gezeigt, dass einige Tools besser sind als andere! Viele Tools wurden schnell entwickelt und verwenden einfach einen beliebten Open-Source-Detektor für GPT-2 (im letzten Monat wurde er 195.000-mal heruntergeladen).

Warum funktioniert unser Modell besser?

Hier erfährst du, warum wir glauben, dass Originality.ai KI-generierte Inhalte deutlich besser erkennt als andere verfügbare Lösungen:

1. Dieses KI-Modell benötigt sehr viel Rechenleistung und ist daher teuer im Betrieb. Es kann deshalb weder kostenlos noch werbefinanziert sein.
2. Diese KI unterstützt Menschen, die im Internet schreiben. Sie lernt, indem sie Online-Inhalte analysiert, um festzustellen, ob ein Text von einem Menschen oder einer KI verfasst wurde. Alte Bücher berücksichtigt sie nicht, da sie anders geschrieben sind.
3. Die KI wird besser, indem sie schwierige Fragen und Tricks untersucht, und passt sich an neue Herausforderungen an, um sie immer genauer zu bewältigen.

Abschließende Worte 

Das Team von Bypass Engine hat hart daran gearbeitet, seinen KI-Inhaltsprüfer zu verbessern und eine Spitzenleistung zu erreichen.

Die Ergebnisse …

• Bypass Engine veröffentlicht Lite 1.0.0.
  • Lite 1.0.0 ist mit einer Erfolgsquote von 98 % äußerst präzise. Nur in 1 % der Fälle liegt das Tool falsch. Außerdem kannst du damit deine Texte verbessern – etwa mit Vorschlägen wie bei Grammarly. Es ist ideal für schulische Arbeiten.
• Bypass Engine veröffentlicht Version 3.0.1 Turbo
  • Turbo 3.0.1 liefert fast immer richtige Ergebnisse, macht nur sehr wenige Fehler und lässt sich nur schwer täuschen.
  • Wenn du KI in deinen Texten wirklich vermeiden möchtest, solltest du Turbo Version 3.0.1 wählen. 
  • Wenn es für dich in Ordnung ist, ein paar kleine Dinge zu korrigieren, entscheide dich für Lite.
• In sechs verschiedenen Studien erzielte die neueste Version von Bypass Engine jedes Mal die besten Ergebnisse bei der zuverlässigen Erkennung.
• Wir haben sechs Tools, die Texte auf KI-Erstellung prüfen, anhand einer anspruchsvollen neuen Testsammlung getestet. Bypass Engine erkannte KI-generierte Inhalte am besten.
• Ein neues, einfach zu bedienendes Tool und ein spezieller Datensatz für schnelle Tests von Detektoren – entwickelt und veröffentlicht

Wir hoffen, dass dieser Beitrag es dir erleichtert, mehr über KI-Detektoren und ihre Genauigkeit zu erfahren. Wenn du möchtest, geben wir dir die nötigen Tools an die Hand, damit du selbst nachprüfen kannst, wie sie funktionieren. 

Wir sind überzeugt …

1. Bei der Entwicklung und Nutzung von KI sollten wir offen und verantwortungsvoll handeln.
2. Tools zur Erkennung von KI können dazu beitragen, einige ihrer negativen Auswirkungen auf die Gesellschaft zu verringern. 
3. Wie zuverlässig oder fehleranfällig KI-Erkennungstools sind, sollte ebenso klar und verantwortungsvoll kommuniziert werden, wie wir es bei der Entwicklung und Nutzung von KI fordern.

Wir hoffen, dass diese Studie hilfreich ist. Hast du Fragen zu Bypass Engine? 

Kontaktiere uns.

Du möchtest eigene Tests durchführen? Lass es uns wissen. Egal, ob du Student, Journalist oder einfach neugierig bist – wir helfen dir gerne weiter. 

Erfahre, wie genau Bypass Engine in verschiedenen Studien ist, und teste unseren KI-Detektor selbst!