Da KI immer besser wird, ist es wichtig zu wissen, ob Menschen erkennen können, wenn ein Text von einer KI stammt. Wir haben sechs verschiedene Studien untersucht, um mehr darüber herauszufinden.
Können Menschen erkennen, ob ein Text von einer KI stammt?
Manche glauben, dass sie das können, andere vertrauen auf Tools wie Bypass Engine.
Da das Erkennen (oder Nichterkennen) von KI-Texten weitreichende Auswirkungen hat, ist es entscheidend zu wissen, ob Menschen KI-generierte Texte bemerken können. Um dieser Frage nachzugehen, haben wir sechs verschiedene Studien untersucht.
Die wichtigsten Punkte (Kurzfassung)
- Selbst wenn sie von ihren Fähigkeiten überzeugt sind, fällt es Menschen oft schwer, von KI erstellte Texte zu erkennen.
- KI-Detektoren sind beim Erkennen von KI-Texten deutlich besser als Menschen.
- Wenn KI-Texte nicht erkannt werden, kann das zu Problemen wie Fehlinformationen, Schummeln in der Schule und gefälschten Inhalten im Internet führen.
Können Menschen KI-generierte Texte erkennen? 6 Studien im Detail
Obwohl viele sich sicher fühlen, fällt es Menschen im Allgemeinen schwer, von KI verfasste Texte zu erkennen. Unsere Untersuchung gängiger Begriffe im Zusammenhang mit ChatGPT hat gezeigt, dass es schwieriger als erwartet ist, ChatGPT eindeutig zu identifizieren.
Um das genauer zu beleuchten, schauen wir uns sechs Studien anderer Forschender dazu an, wie gut Menschen KI-generierte Texte erkennen.
1. Können Lehrkräfte KI erkennen? Eine Untersuchung dazu, wie gut Lehrkräfte KI-generierte Texte in Schüleraufsätzen erkennen.
Zusammenfassung der Studie
Diese auf ScienceDirect verfügbare Studie untersucht, wie gut Lehrkräfte KI-generierte Inhalte erkennen können.
Da KI immer besser wird, ist es im Bildungsbereich entscheidend, KI-generierte Texte zu erkennen. Deshalb führten die Forschenden Tests durch, um herauszufinden, ob Lehrkräfte zwischen KI-generierten und von Menschen verfassten Texten unterscheiden können.
An der Studie nahmen zwei Gruppen teil:
Studie 1 (Teilnehmende waren angehende Lehrkräfte)
„Zukünftige Lehrkräfte erkannten nur 45.1% der von KI verfassten Texte und 53.7% der von Schülern verfassten Texte korrekt.“
Studie 2 (Teilnehmende waren erfahrene Lehrkräfte)
„Sie erkannten nur 37,8 % der KI-generierten Texte korrekt, identifizierten aber 73,0 % der von Studierenden verfassten Texte richtig.“
Die wichtigsten Punkte:
- Den Teilnehmenden fiel es schwer, KI-generierte und von Menschen verfasste Inhalte zuverlässig voneinander zu unterscheiden.
- Angehende Lehrkräfte erkannten nur 45,1 % der KI-Texte richtig.
- Erfahrene Lehrkräfte identifizierten lediglich 37,8 % der KI-Texte korrekt.
- Selbst wenn die Teilnehmenden von ihrer Einschätzung überzeugt waren, lagen sie häufig falsch. Das zeigt, dass sie ihre Fähigkeit, KI zu erkennen, überschätzten.
Fazit:
Diese Ergebnisse legen nahe, dass es Lehrkräften schwerfällt, KI-generierte Arbeiten von menschlich verfassten Arbeiten zu unterscheiden – ohne die Unterstützung leistungsstarker KI-Erkennungstools.
Studie: Können Lehrkräfte KI erkennen? Eine Untersuchung dazu, wie gut Lehrkräfte KI-generierte Texte in Schüleraufsätzen erkennen.
2. Nicht alles „Menschliche“ ist Gold: Die Bewertung von KI-Texten durch Menschen
Zusammenfassung der Studie
In einer an der Cornell University verfügbaren Studie untersuchten Forschende, wie gut Menschen erkennen können, ob ein Text von einer KI oder von Menschen verfasst wurde.
Sie untersuchten Geschichten, Nachrichtenartikel und Rezepte.
Für die Studie untersuchten sie 255 Geschichten aus sozialen Medien. Daraus wählten sie 50 von Menschen verfasste Geschichten aus. Außerdem erstellten sie mithilfe von Prompts 50 weitere Geschichten.
Sie untersuchten 2.111 Nachrichtenartikel aus 15 Nachrichtenmedien. Daraus wählten sie 50 Artikel aus. Anschließend generierten sie mithilfe von Prompts 50 weitere Artikel.
Sie bezogen 50 von Menschen verfasste Rezepte aus dem RecipeNLG-Datensatz sowie 50 weitere mithilfe von Prompts erstellte Rezepte ein.
Wichtigste Ergebnisse
Die Ergebnisse zeigten, dass es den Menschen häufig schwerfiel, KI-generierte Inhalte zu erkennen.
Beim Vergleich von GPT2-Texten mit von Menschen verfassten Texten lagen die Menschen in 57,9 % der Fälle richtig. In der Tabelle der Studie wurde dieser Wert auf 58 % gerundet.
Bei GPT3 lag ihre Trefferquote bei 49,9 %, gerundet 50 %.
Selbst wenn die Teilnehmenden vor dem Test eine gewisse Schulung zum Erkennen von KI-Inhalten erhielten, verbesserten sich ihre Ergebnisse nur geringfügig.
Die Ergebnisse zeigen, dass Menschen Schwierigkeiten haben, von KI erstellte Texte zu erkennen – selbst wenn sie zuvor dafür geschult wurden.
Erfahre, wie genau KI-Detektoren sind – auf Grundlage einer Metaanalyse unabhängiger Forschender, die Studien zur Genauigkeit der KI-Erkennung untersucht haben.
Studie: Nicht alles „Menschliche“ glänzt: Die Beurteilung generierter Texte durch Menschen
3. Studie: Menschen fällt es schwer, GPT-4 von einem Menschen zu unterscheiden
Zusammenfassung der Forschung
Diese von der Cornell University veröffentlichte Untersuchung zeigt, wie gut Menschen KI-generierte Texte erkennen können. Untersucht wurden drei Modelle: GPT-4, GPT-3.5 und ELIZA.
Die Studie sollte herausfinden, ob Menschen von KI verfasste Inhalte erkennen können. Daran nahmen 500 Personen teil. Mithilfe eines „Spiels“, das einer Chat-App ähnelte, wurden ihre Fähigkeiten getestet.
Die Studie untersuchte außerdem, ob Kenntnisse über KI oder Erfahrung mit großen Sprachmodellen (LLMs) die Ergebnisse der Teilnehmenden beeinflussten.
Wichtigste Erkenntnisse
- Wie bereits frühere Studien zeigt auch diese Untersuchung, dass Menschen KI-generierte und von Menschen verfasste Texte meist nicht voneinander unterscheiden konnten.
- Von Menschen verfasste Texte wurden in 67 % der Fälle korrekt als menschlich erkannt.
- GPT-4 wurde in 54 % der Fälle fälschlicherweise für einen Menschen gehalten.
- ELIZA wurde in 22 % der Fälle mit von Menschen verfasstem Text verwechselt.
- Bei der Frage, wie gut sich die Teilnehmenden mit LLMs auskannten, beeinflusste diese Vertrautheit ihre Genauigkeit nur leicht.
- Interessanterweise hatte das Alter den größten Einfluss auf die Genauigkeit.
- Jüngere Menschen konnten AI-Modelle im Allgemeinen besser identifizieren als ältere.
Zusammenfassung
Menschen können oft nicht erkennen, ob ein Text von AI erstellt wurde – selbst wenn sie sich mit dem Thema auskennen.
Möchtest du mehr darüber erfahren, wie man AI erkennt? Dann sieh dir die Genauigkeitsanalyse des Bypass Engine Content Detectors an.
Studie: Menschen können GPT-4 in einem Turing-Test nicht von einer Person unterscheiden.
4. Kannst du erkennen, ob es ein Bot ist? Von AI verfasste Texte in Hochschulaufsätzen erkennen
Zusammenfassung der Studie
Das International Journal for Educational Integrity untersuchte eingehend, wie sich AI-Texte in Studienarbeiten erkennen lassen. Die Forschenden wollten herausfinden, ob Menschen Aufsätze von AI und von Menschen unterscheiden können.
An der Studie nahmen 140 Hochschullehrkräfte und 145 Studierende teil. Jede Person erhielt einen von einem Studierenden verfassten Aufsatz und einen weiteren, der von AI erstellt wurde. Sie mussten entscheiden, welcher Aufsatz von AI erstellt und welcher von einem Studierenden verfasst worden war.
Wichtige Erkenntnisse
- Die Teilnehmenden hatten Schwierigkeiten, von AI verfasste Aufsätze zu unterscheiden.
- Hochschullehrkräfte lagen bei ChatGPT in 70 % der Fälle richtig.
- Studierende lagen bei ChatGPT in 60 % der Fälle richtig.
Fazit
Sowohl Lehrkräfte als auch Studierende finden es schwierig, AI in Studienarbeiten zu erkennen.
Studie: Bot erkennen? AI in Hochschulaufsätzen identifizieren
5. Gutachter haben Schwierigkeiten, von ChatGPT erstellte Abstracts in der Schulter- und Ellbogenchirurgie zu erkennen
Überblick
Diese in Arthroscopy: The Journal of Arthroscopic & Related Surgery veröffentlichte Studie untersucht, wie gut Gutachter von ChatGPT erstellte Abstracts erkennen können.
In der Studie erhielten die Teilnehmenden eine Mischung aus Abstracts, von denen einige von AI und andere von Menschen verfasst worden waren. Sie mussten entscheiden, welche ihrer Einschätzung nach von AI erstellt wurden.
Wichtigste Ergebnisse
Die Gutachter identifizierten von AI erstellte Inhalte in 62 % der Fälle korrekt. In 38 % der Fälle hielten sie jedoch fälschlicherweise von Menschen verfasste Abstracts für AI-generiert. Dies zeigt, dass menschliches Urteilsvermögen allein nicht ausreicht und weitere Methoden zur AI-Erkennung notwendig sind.
Fazit
Diese Studie zeigt ebenso wie andere, dass es Menschen schwerfällt, von AI erstellte Inhalte zu erkennen.
6. Kann ChatGPT das System überlisten? Vergleich von persönlichen Stellungnahmen von AI und Menschen in Bewerbungen für eine Facharztausbildung in der plastischen Chirurgie
Zusammenfassung der Studie
Diese Studie stammt von der Canadian Society of Plastic Surgeons. Sie untersucht die Inhalte von Bewerbungen für medizinische Facharztausbildungen – ein sehr spezialisiertes Gebiet.
An dieser Studie nahmen zwei Chirurgen teil, die nach 20 Jahren Arbeit mit dem Canadian Residency Matching Service (CaRMS) kürzlich in den Ruhestand gegangen waren. Sie mussten 11 von AI und 11 von Menschen verfasste Bewerbungen prüfen. Ihre Aufgabe bestand darin, herauszufinden, welche Bewerbungen mit ChatGPT-4 erstellt und welche von Menschen verfasst worden waren.
Wichtigste Ergebnisse
Die Studie ergab, dass die Bewerter in 65.9% der Fälle zwischen KI- und von Menschen verfassten Anwendungen unterscheiden konnten. In der Studie wurde darauf hingewiesen, dass die geringe Anzahl an Beispielen ein Nachteil war, die Fachkenntnisse der Bewerter jedoch einen deutlichen Vorteil darstellten.
Fazit
Die Ergebnisse zeigen deutlich, dass es Menschen schwerfällt, von AI erstellte Inhalte zu erkennen. Selbst Experten mit mehr als 20 Jahren Erfahrung in Bewerbungen für medizinische Facharztausbildungen können von Menschen und von AI verfasste Bewerbungen nur schwer unterscheiden.
Abschließende Bemerkungen
Können Menschen von AI erstellte Texte erkennen? Diese Studien zeigen, dass sie es nicht können.
Manchmal liegen Menschen richtig, doch meistens fällt es ihnen schwer, AI-Texte von menschlichen Texten zu unterscheiden. Ein guter AI-Texterkenner ist daher sehr hilfreich, um für mehr Klarheit zu sorgen.
Häufig gestellte Fragen zur AI-Erkennung
Können Menschen von AI erstellte Inhalte erkennen?
Generell fällt es Menschen schwer zu erkennen, wann Inhalte von AI erstellt wurden. Forschungsergebnisse deuten darauf hin, dass sich die Fähigkeit der Menschen, solche Inhalte zu erkennen, stark unterscheidet.
Wie präzise sind Tools zur AI-Erkennung?
Die Erfolgsquote dieser Tools hängt davon ab, welches du verwendest. Der Bypass Engine AI Checker gibt eine Genauigkeit von über 99 % an. Auch das Turbo-Modell erreicht bei der Erkennung von AI-generierten Inhalten angeblich eine Genauigkeit von über 99 %.
Für einen Vergleich beliebter AI-Tools kannst du dir unsere Reihe von Tests zur AI-Erkennung ansehen.
Was passiert, wenn wir KI-Inhalte nicht erkennen können?
Das könnte zu großen Problemen führen, etwa zur Verbreitung falscher Informationen, zu Betrug in der Schule und zu einem Vertrauensverlust in das, was wir online lesen.
