Проверка AI-детекторов контента: насколько они хороши и какие инструменты можно использовать 

Мы считаем очень важным, чтобы инструменты, определяющие, был ли контент создан ИИ, работали прозрачно, честно и ответственно. Каждый, кому нужно выяснить, написан ли текст ИИ, должен легко понимать, какой инструмент лучше всего подходит для его задач.

Инструменты обнаружения ИИ важны, но не всегда дают верный результат. Пользователи должны понимать, на что способны эти инструменты и каковы их ограничения. Разработчики таких инструментов обязаны открыто рассказывать об их эффективности.

Существуют данные об эффективности инструмента Bypass Engine, включая отчёты по результатам различных исследований.

Вы можете бесплатно протестировать инструмент Bypass Engine, нажав здесь.

Попробуйте наш детектор ИИ 

В этом руководстве рассказывается, как выбрать лучший детектор контента ИИ. Вы узнаете, как работают такие инструменты, и получите средства для проверки их точности. Руководство включает:

• Набор данных, который мы можем использовать для совместной проверки эффективности детекторов ИИ.
• Простой инструмент для проверки того, насколько хорошо ИИ распознаёт контент из различных наборов данных.
• Инструкции и калькулятор для выбора лучших тестов обнаружения.
• Понятные отчёты, показывающие правду на основе общедоступных данных.

Это руководство поможет вам научиться оценивать детекторы ИИ, проверять их эффективность, проводить собственные эксперименты и сравнивать результаты разных инструментов. 

Остались вопросы? Свяжитесь с нами!

Коротко и по делу:

• Lite теперь стал любимым выбором для простой работы с ИИ (как в Grammarly), заменив версию Standard.
• Turbo 3.0.1 — это сверхумный инструмент, способный обнаружить даже малейшие признаки ИИ.
• Выбирайте Turbo 3.0.1 для работы без ИИ.
• Выбирайте Lite для более простой работы с ИИ и меньшего количества ошибок.
• Bypass Engine стал ещё лучше проверять тексты и теперь является самым точным детектором ИИ.

Обнаружение ИИ не всегда даёт правильный результат. Одни считают, что такие инструменты выявляют всё, другие — что они многое упускают. На самом деле истина где-то посередине. Нам остаётся ждать и смотреть, сможет ли OpenAI или кто-то ещё представить нечто принципиально новое.

— При разработке и использовании ИИ важно действовать открыто и ответственно. 

— Детекторы ИИ могут помочь предотвратить некоторые негативные последствия, которые генеративный ИИ способен повлечь для общества.

Прозрачное и ответственное обнаружение ИИ помогает сохранять справедливость и безопасность для студентов и работников. Bypass Engine поддерживает ответственное использование ИИ. Он выступает за открытость и помогает людям доверять тому, что они видят или читают.

FTC рекомендует осторожно относиться к заявлениям об эффективности ИИ в обнаружении контента, созданного ИИ.

Инструменты ИИ для проверки фактов должны доказывать свою эффективность. Голословные заявления о качестве их работы могут привести к серьёзным проблемам для всех. 

FTC рекомендует не доверять инструментам, которые не могут доказать свою точность. Разработчики этих инструментов согласны с FTC, а проверить результаты их работы может любой желающий. 

Были случаи, когда, например, учитель по ошибке поставил неудовлетворительные оценки всему классу из-за таких ошибок.

Последствия использования контента, созданного ИИ и неотличимого от человеческого, могут быть серьёзными. 

Нам нужны инструменты, способные распознавать контент, созданный ИИ. Пока имеющихся инструментов и исследований недостаточно, чтобы справиться с серьёзными проблемами, которые может вызвать такой контент.

1. Широко распространяющаяся вводящая в заблуждение информация. 
2. Недостоверные истории. 
3. Вредоносные нежелательные сообщения. 
4. Несправедливое списывание в учебных заведениях / Использование ИИ для списывания. 
5. Ложные убеждения.
6. Недобросовестные авторы. 
7. Недобросовестные компании.
8. Вымышленные положительные отзывы о продуктах.
9. Вымышленные заявления о приёме на работу. 
10. Вымышленные эссе для поступления в колледж.
11. Вымышленные заявки на стипендии.

История версий Originality.ai:

Ноябрь 2022 : Они запустили тестовую версию. Это произошло ещё до появления ChatGPT. Она могла обнаруживать GPT-2, GPT-NEO, GPT-J и GPT-3. Однако с помощью небольших изменений её можно было обойти.

Апрель 2023 : Улучшили определение текстов, созданных ChatGPT, даже если кто-то изменил формулировки. Теперь ошибок стало меньше.

Август 2023 : Повысили точность и улучшили обнаружение контента, изменённого AI. Также они бесплатно предоставили набор данных и запустили новый инструмент для проверки детекторов AI.

Февраль 2024 : Улучшили Turbo 3.0 с помощью новых технологий AI, включая Grok, Mixtral, GPT-4 Turbo, Gemini и Claude 2. Модель показала отличные результаты: точность достигла 98.8%, а количество ошибок снизилось.

Июль 2024 : Запустили Lite 1.0.0. Его точность составляет 98%, а доля ошибок — менее 1%. Он также помогает определить, использовалась ли при написании текста помощь AI, например Grammarly.

Сентябрь 2024 : Они выбрали Lite в качестве лучшей модели и прекратили использовать старые модели.

Октябрь 2024 : Они создали Turbo 3.0.1. Он почти никогда не ошибается: доля ошибок составляет менее 3%. Модель разработана таким образом, чтобы AI не мог её обмануть, и отличается высокой устойчивостью к попыткам обхода.

Как работает наш детектор ИИ: простое руководство

У нас есть система, способная определить, написан ли текст компьютером или человеком.

Система совершенствуется, изучая множество примеров текстов, написанных ИИ и людьми. С помощью мощной модели она учится распознавать различия между ними.

Хотите узнать, как распознавать тексты, написанные компьютерами?

Как машины распознают тексты, написанные ИИ Машины 

Вот простое объяснение трёх основных способов, с помощью которых инструмент (часто называемый «классификатором» в области машинного обучения) может определить, написан ли текст ИИ или человеком.

1. Использование признаков для решения задач

• Распознаёт закономерности, характерные только для текстов, созданных ИИ.
• Разнообразие текста показывает, насколько часто мы повторяем слова вместе. Люди часто используют одни и те же фразы, а AI чаще меняет формулировки.
• Предсказуемость показывает, насколько легко угадать следующее слово. Текст, созданный AI, обычно легко предсказать (он менее непредсказуем), тогда как написанный людьми текст сложнее угадать (он более непредсказуем).
• Частотные признаки — анализируют, как часто встречаются слова или фразы. Необычные закономерности могут указывать на участие ИИ.
• Исследования показали, что тексты, созданные ИИ, особенно его ранними версиями, обычно легко понять.
• ИИ правильно использует знаки препинания, но его текст может звучать не так естественно, как написанный человеком.
• Преимущества: быстро, экономит деньги, хорошо работает со старыми системами ИИ.
• Недостатки: испытывает трудности со сложными моделями, такими как GPT-4 и Bard.
• Примеры: GPTZero, Winston AI

2. Подход без предварительного обучения

• ИИ сопоставляет текст с характерными для него особенностями письма.
• Преимущества: легко использовать, дополнительное обучение не требуется.
• Недостатки: легко обойти, перефразировав текст
• Примеры: GPTZero, ZeroGPT

3. Как сделать ИИ умнее

• Проводит проверку с помощью интеллектуальных программ (например, BERT и RoBERTa), чтобы выявить отличия текстов ИИ от человеческих.
• Преимущества: лучший способ определить, кто создал текст.
• Недостатки: дорого и медленно адаптируется к новейшим моделям ИИ.
• Примеры: Originality.ai AI Detector, OpenAI Text Classifier (больше не работает)

Тест, о котором мы говорим, проверяет эффективность разных детекторов, используя все упомянутые ранее стратегии.

План тестирования:

Мы протестировали новый инструмент проверки контента ИИ от Bypass Engine, выполнив несколько действий:

1. Мы рассмотрели три разных типа с большим количеством примеров. 

2. Мы проверили его работу на небольшом, но сложном наборе данных. 

3. Мы протестировали его с помощью собственных инструментов и вводили данные вручную, когда автоматизация была недоступна. 

4. Мы использовали известные наборы данных, чтобы оценить, насколько хорошо работает Originality.ai. 

Мы также можем повторить второй тест с помощью общедоступного инструмента и специальных наборов данных. 

Ознакомьтесь с нашим новым набором данных для состязательного обнаружения ИИ:

Мы публикуем специальный набор данных, чтобы проверить эффективность детекторов ИИ и показать их ограничения. В него входят:

• Сложные истории, созданные роботами (например, тексты ChatGPT-4 или изменённые формулировки, сгенерированные роботами). Тексты, написанные людьми, для сравнения.

Эти данные взяты из большой выборки, но не используются в основных тестах. Они помогают убедиться, что тесты объективны и не содержат перекосов.

Ознакомьтесь с таблицей ниже. В ней перечислены наборы данных и приведено краткое описание каждого из них. 

Скачать набор данных можно, нажав здесь.

Как лучше всего проверить? Используйте собственные данные!

Использование AI-инструментов на ваших данных помогает повысить их точность. Однако для выявления поддельных публикаций может потребоваться дополнительная настройка. Попробуйте наш бесплатный инструмент и проверьте, насколько хорошо детектор работает с вашими данными.

Как это выяснить и какие бесплатные инструменты доступны каждому:

Разработчики создали инструменты, которые помогают точнее выявлять тексты, написанные AI. Они предоставляют сведения, статистику и подробные результаты. Лучшие из них работают с AI-детекторами через специальный код, делая проверку простой и точной.

1. Проведение всех тестов почти одновременно, в течение одного дня.
2. Каждый инструмент получает в точности один и тот же текст без каких-либо изменений в его оформлении.
3. Быстрое тестирование наборов данных по мере их появления.
4. Возможность для потенциальных клиентов или исследователей протестировать свои данные и определить лучший AI-детектор для своих задач.

Новые LLM появляются очень быстро, и методы обнаружения AI-контента развиваются с такой же скоростью. Поэтому если исследование публикуется через 4 месяца, оно уже устарело. 

Возможности этого инструмента:

• Бесплатный доступ без оплаты
• Проверка большого объёма текста с помощью разных AI-детекторов 
• Быстро предоставляет результаты 
• Автоматически оценивает эффективность детекторов (точность, количество ошибок и другие показатели)

Перейдите по ссылке, чтобы воспользоваться полезным инструментом: https://github.com/OriginalityAI/AI-detector-research-

инструментом. 

Мы также добавили три простых способа использовать наш инструмент с вашими наборами данных.

1. Поиск контента, созданного AI, в Microsoft Excel
2. Поиск контента, созданного AI, в Google Sheets. 
3. Поиск AI-контента в AirTable.

Наш взгляд на использование AI-детекторов в школах и проблему ошибок

Решение о том, совершил ли кто-то нарушение, только на основании оценки AI может привести к ошибке. 

Чтобы избежать ошибок, разработчики подготовили руководство для авторов и студентов, а также бесплатный инструмент для Chrome, который помогает проверить оригинальность работы.

Новая версия 1.0.0 Lite предназначена для школ и помогает легко вносить небольшие исправления с помощью инструментов, аналогичных Grammarly.

Как проверить точность AI-детекторов

Вот как мы оцениваем качество AI-детекторов, предназначенных для выявления контента, созданного AI. Возможно, некоторые моменты покажутся техническими, но если вы хотите разобраться глубже, мы подготовили для вас дополнительные сведения. 

Одного числа, показывающего качество детектора, совершенно недостаточно! 

Не стоит доверять одной лишь оценке «точности», не разобравшись, что она означает. 

Давайте рассмотрим разные способы оценки эффективности этих детекторов…

Матрица ошибок 

Матрица ошибок и F1-мера показывают, насколько хорошо AI-модель умеет отличать настоящий контент от созданного AI. Всё это можно быстро увидеть на одном изображении.

• Истинно положительное срабатывание (TP) означает, что текст, созданный AI, распознан правильно.
• Пропуск (FN) — Проверка ИИ ошиблась, сочтя текст, созданный ИИ, написанным человеком. 
• Ошибка (FP) — Проверка ИИ ошиблась, приняв текст, написанный человеком, за созданный ИИ. 
• Истинно отрицательное срабатывание — контент, написанный человеком, распознан правильно.

Матрица ошибок на примере GPT-4 и данных, созданных людьми: простая версия 1.4

Доля истинно положительных срабатываний — выявление текстов AI

Этот показатель находит текст, написанный AI, в x% случаев. Доля истинно положительных результатов, или TPR, также называется чувствительностью, частотой обнаружения или полнотой.

• Доля истинно положительных результатов TPR = TP / (TP & FN)

Доля истинно отрицательных результатов — выявление текста, написанного человеком:

Этот показатель правильно определяет, что контент создан человеком, в x% случаев. Доля истинно отрицательных результатов TNR (также называется специфичностью или избирательностью).

• Доля истинно отрицательных результатов TNR = TN / (TN & FP) = 1- FPR

Точность:

Одной правильности недостаточно — некоторые инструменты для обнаружения AI-текста могут заявлять о высокой эффективности, но не показывают, как именно они работают.

• Точность = True / (True + False) = (TP + TN) / (TP + TN + FB +FN)

F1:

Показатель, который удачно объединяет точность и полноту, чтобы объективно оценивать инструменты обнаружения AI-текста.

• F1 = 2 x (PPV x TPR) / (PPV + TPR), где точность (PPV) = TP / (TP + FP)

Метрики, которые мы рассмотрели, но не использовали:

• Мы не включили ROC и AUROC, поскольку не можем изменить чувствительность других инструментов, а некоторые из них не используют процентные оценки.
• Точность, то есть PPV =TP /(TP+FP), также не используется.

Итак, что именно считается контентом, созданным AI?

Что считается контентом, созданным AI, а что — нет? Чем больше текстов создают люди и AI-помощники, тем сложнее определить, какой контент полностью написан AI! 

В некоторых исследованиях использовались спорные критерии того, какой текст считать написанным человеком, а какой — созданным AI. 

Например, в одном исследовании рассматривались тексты, написанные людьми на разных языках, а затем переведённые на английский с помощью AI, но их всё равно считали подлинными работами людей. 

Описание набора данных:

Утверждение, что набор данных, созданный AI, выглядит так, будто его написал человек???

https://arxiv.org/pdf/2306.15666.pdf

Инструменты обнаружения AI должны уметь распознавать текст, созданный AI, даже после значительных изменений. Чтобы скрыть факт использования AI, достаточно даже небольших правок. Поэтому мы классифицируем контент, обработанный с помощью AI, по-разному.

• Текст, созданный AI = создан AI
• Текст, созданный AI и улучшенный людьми = создан AI
• Текст, созданный AI и значительно изменённый людьми = создан AI
• План создан AI, но текст в значительной степени написан и изменён людьми = создан AI
• Текст, написанный людьми при небольшой помощи AI = зависит от ситуации
• Исследование проведено AI, но текст написан людьми = действительно создан людьми
• И текст, и проверка выполнены людьми = действительно создано людьми

Чем чаще мы используем AI при написании текстов, тем легче заметить, что текст создан AI. Журналистка Kristi Hines и другие специалисты исследовали этот вопрос. Они поделились результатами в Search Engine Journal.

Мы проверяем, насколько уникальна новая Lite-версия Bypass Engine в обновлении за July 2024.

Наконец-то! Время провести несколько тестов

Появляются всё новые и улучшенные LLM, поэтому нам приходится обновлять модели и методы их тестирования. 

Представляем Version Lite 1.0.0.

Выпуск July 2024 представляет Version Lite 1.0.0. Посмотрите, как новая Lite-модель показала себя в наших тестах.

1. Lite-версия отлично распознаёт контент, написанный людьми, и допускает мало ошибок даже при обнаружении небольших изменений, внесённых AI.
2. Результаты на разных наборах данных

• Lite Version 1.0.0 может определить, были ли в контент внесены изменения с помощью AI или он полностью создан AI.
• Вероятность ошибки при определении текста, созданного AI, очень низкая — всего 1% (это лучше, чем у более старой версии 2.0.0). При пропуске AI-текста результат тоже неплохой: вероятность ошибки составляет всего 2%. 
• Он показал самые точные результаты в 4 из 10 проведённых тестов AI.

3. Главное: очень низкий уровень ошибок и отличное распознавание текста с небольшими изменениями, внесёнными AI.

Версия Lite 1.0.0 отлично распознаёт изменения, внесённые AI-инструментами вроде Grammarly, и почти не ошибается. Это делает её прекрасным решением для школ и образовательных учреждений.

Обзор 6 инструментов для распознавания скрытого AI

Далее мы проверим эффективность разных AI-детекторов с помощью тестирования.

Чтобы многократно повторять эти тесты, мы использовали…

1.  Представляем наш совершенно новый инструмент: средство проверки точности AI-детекторов с открытым исходным кодом. 
2. Ознакомьтесь с этими бесплатными наборами данных, с помощью которых можно сравнить результаты инструментов:

• Бенчмарк распознавания состязательного AI с открытым исходным кодом
• Набор данных о предвзятости AI-детектора ChatGPT

Тест №2 — сложный. В нём используются трудные настройки и данные GPT-3, GPT-4, ChatGPT и Paraphraser. Он отличается от большинства инструментов распознавания AI, работающих с обычным AI-текстом.

Тест №2 — что мы выяснили 

Скачать результаты, данные и подробности можно здесь:

• https://drive.google.com/drive/folders/14uCk9s8ypSp63Yd-M4EGYr9uDyO4U9D0?usp=drive_link

Тест № 2 — результаты проверки способности ИИ распознавать тексты, созданные ИИ:

Мы проводили этот тест на более старой версии 2.0.0, но больше её не используем. 

Теперь посмотрим, насколько хорошо показала себя в этих тестах наша последняя версия под названием Lite.

• В таблице результаты упорядочены по специальному показателю F1. Он показывает, насколько хорошо инструмент распознаёт AI-текст и отличает его от текста, созданного людьми.
• Все инструменты довольно хорошо справлялись с задачей, не путая тексты: уровень ошибок составлял от 0,8% до 7,6%.
• Способность распознавать AI-текст значительно различалась — от 19,8% до 98,4%.

Тест №2 — как каждый AI-детектор распознаёт неоднозначный текст:

Анализ данных с Bypass Engine — краткий обзор нашего второго эксперимента со сложными наборами данных 

[Модель Turbo 3.0.1]

[Модель Lite 1.0.0]

Winston.AI — тестирование — второй эксперимент со сложными данными

Winston.ai F1 = 52.0

Tree.AI — таблица ошибок — проверка сложных данных в эксперименте №2

Sapling.ai F1 = 37.9

GPTZero против путаницы — раунд 2: тестирование на сложных данных

GPTZero F1 = 34.2

Изучение контента в больших масштабах — понимание путаницы — эксперимент № 2: испытание на сложных данных

ContentatScale F1 = 33.4

CopyLeaks: тестирование на сложных наборах данных

CopyLeaks F1 = 32.9

Проблемы теста №2:

Упрощённый ввод данных: некоторые инструменты ИИ, такие как ContentAtScale, TurnItIn и WinstonAI, нам пришлось проверять вручную, поскольку компьютеры не могли сделать всё самостоятельно. Возможны ошибки, но всё, в чём мы сомневались, мы перепроверили.

Качество данных: набор данных был взят из гораздо более крупной коллекции и очищен не полностью, поэтому некоторые примеры могут быть неидеальными.

13 февраля 2024 года мы проверили наш новый AI-детектор, а также провели проверки с 24 по 28 июля 2023 года. Эти тесты показывают, как он работал в тот период, но не обязательно отражают его будущие результаты.

Наша команда, изучающая ИИ, считает, что 2 000 тестов недостаточно, чтобы получить полное представление о принципах его работы.

Хотите проверить точность на разных типах данных? Воспользуйтесь нашим бесплатным инструментом, который работает с множеством форматов.

• Инструмент для сравнения детекторов ИИ с открытым исходным кодом и набор данных: уже доступны

Тест № 3 — другие наборы данных для обнаружения ИИ и ещё 5 дополнительных тестов:

Вот ещё данные, которые вы можете протестировать. 

Мы не тестировали все инструменты на этих данных, но проверили на них Bypass Engine. Вот каких результатов добился Bypass Engine.

Все эти данные взяты из научных работ, доступных каждому.

Ниже мы сравниваем различия между моделями Lite и Turbo.

Тест 3-A: насколько ChatGPT похож на настоящих экспертов?

• Исследование показывает, что модель превосходит человеческих оценщиков и даже лучших экспертов на 8,8%. Кроме того, в различных тестах она набирает более высокие баллы, чем другие модели, представленные в исследовании.
• https://arxiv.org/pdf/2301.07597.pdf
• https://huggingface.co/datasets/Hello-SimpleAI/HC3

Тест Bypass Engine № 3-A: превращаем текст ChatGPT в речь человека

[Модель Turbo 3.0.1]

‍

[Модель Lite 1.0.0]

Тест 3-B: как обнаруживать научные статьи, написанные компьютерами

• https://aclanthology.org/2023.trustnlp-1.17.pdf.
• https://huggingface.co/datasets/tum-nlp/IDMGSP
• Согласно результатам теста, наша модель точнее четырёх других по шкале оценки. Ей не нужно обучаться на научных статьях. Однако если три другие модели обучаются почти на всех типах тестовых данных, они показывают немного лучшие результаты, чем наша. 

Bypass Engine: тест № 3-B на обнаружение эссе, написанных ИИ

[Модель Turbo 3.0.1]

[Модель Lite 1.0.0]

‍Набор данных и результаты

Тест 3-C: обнаружение текста, написанного крупными системами ИИ

• В исследовании показано, что уникальность превзошла результаты всех протестированных детекторов.
• Статья: https://arxiv.org/pdf/2305.15047.pdf
• Набор данных: https://github.com/vivek3141/ghostbuster (2,895 образцов)

Тест Ghostbuster — матрица ошибок — Bypass Engine, тест 3-C

[Модель Turbo 3.0.1]

[Модель Lite 1.0.0]

‍Набор данных и результаты

Тест 3-D — учимся определять эссе, созданные ИИ

• Мы получили идеальный результат — 100% — в обоих классах.
• Статьи, написанные шведскими студентами, изучающими английский язык, показывают, насколько хорошо наша модель работает с изучающими английский.
• Мы превзошли все представленные здесь модели.
• https://www.mdpi.com/2076-3417/13/13/7901
• https://github.com/rcorizzo/one-class-essay-detection

Bypass Engine — разбираем матрицу ошибок — тест № 3-D — обнаружение эссе, написанных ИИ

[Модель Turbo 3.0.1]

‍Набор данных и результаты

Тест 3-E — обнаружение ИИ: поиск школьных эссе ChatGPT с помощью CheckGPT

• Наша система отлично справлялась с обнаружением текста, созданного ИИ. Она правильно определяла его в 96,7% случаев. В их число входят такие сложные темы, как физика, информатика и обществознание, на которых мы не фокусировались при создании системы. GPTZero набрал 61,2%.
• Мы проверили 9 000 примеров и правильно определили результат в 94,5% случаев — почти так же хорошо, как в лучшем сопоставимом исследовании. Несмотря на использование разных методов тестирования, мы показали отличные результаты и значительно превзошли GPTZero в определении контента, созданного ИИ.
• https://arxiv.org/pdf/2306.05524.pdf
• https://huggingface.co/datasets/julianzy/GPABenchmark

TryMe Originality — загадка с путаницей — тест № 3-E — сможете ли вы меня распознать?

[Модель Turbo 3.0.1]

‍Набор данных и результаты

Другие исследования 

В исследованиях и данных, о которых мы не рассказали, есть те же проблемы…

• Небольшие тестовые выборки (использовать всего 100 образцов — явно недостаточно!)
• Долгое ожидание — если исследование долго не публикуется, это проблема, потому что всё быстро меняется.
• Данные не публикуются — всегда неприятно, когда исследования не делятся своими данными.
• Сравнение инструментов — при сравнении инструментов или точности необходимо предоставлять используемые данные. 
• Простые тесты ИИ — создавать сложные тесты для различения ИИ и человека трудно и дорого, но простые тесты слишком примитивны. Тест на данных, созданных GPT-2, мало что нам показывает.
• Другие тесты, на которые стоит обратить внимание:
• Детектор AI HuggingChat 
• Проверка перефразирования и плагиата

Сторонние группы провели ещё шесть исследований. Они выяснили, что Originality.ai точнее всего определяет такой контент.

• Изучение того, насколько хорошо мы умеем выявлять тексты, написанные AI
• Исследование способов выявления текстов, созданных AI
• Насколько хорошо программы находят тексты, написанные AI?
•  Подробный разбор исследования «RAID» 
• Когда AI пишет на медицинские темы
• Исследование роли AI в научных резюме
• Проверка того, используют ли студенты AI для выполнения домашних заданий

Мы использовали собственные данные и другие общедоступные данные. Тесты снова и снова показывают, что Originality.ai хорошо выявляет тексты, созданные AI.

Все инструменты для выявления текстов, созданных AI

Вот простое руководство по инструментам для проверки контента, созданного AI. Если вы хотите сравнить больше AI-проверок и узнать, что они умеют, ознакомьтесь со статьёй «22 инструмента для выявления AI-контента». 

Список инструментов:

1. HuggingFace
2. GLTR.io AI 
3. Passed.AI
4. Writer.com 
5. Willieai.com 
6. GPTZero
7. ContentAtScale
8. CopyLeaks
9. POE Poem of Quotes
10. DetectGPT
11. On-Page.AI
12. GPTRadar.com
13. Percent Human
14. Grover 
15. KazanSEO
16. Sapling
17. CrossPlag
18. CheckForAI.com
19. Draft & Goal
20. GPTkit.ai
21. ParaphrasingTool.ai 
22. Классификатор текстов OpenAI (удалён)
23. AI Writing Check
24. Winston AI
25. InkForAll
26. ContentDetector.ai
27. WriteFull
28. ZeroGPT
29. TurnItIn
30. Bypass Engine

Тесты доказали, что одни инструменты лучше других! Многие инструменты были созданы в спешке и используют популярный детектор GPT-2 с открытым исходным кодом (в прошлом месяце его скачали 195k раз).

Почему наша модель работает лучше?

Вот почему мы считаем, что Originality.ai гораздо лучше других доступных решений справляется с обнаружением текстов, написанных AI:

1. Эта модель AI требует много вычислительных ресурсов, поэтому её использование обходится дорого. Она не может быть бесплатной или поддерживаться за счёт рекламы.
2. Этот AI помогает людям, которые пишут для интернета. Он обучается на онлайн-контенте, чтобы определить, написал ли текст человек или AI. Старые книги он не анализирует, поскольку они написаны иначе.
3. AI становится лучше, изучая сложные вопросы и уловки, а также адаптируется к новым задачам, чтобы точнее их решать.

Заключение 

Команда Bypass Engine приложила огромные усилия, чтобы улучшить свой инструмент проверки контента AI и добиться максимальной эффективности.

Результаты…

• Bypass Engine запускает Lite 1.0.0.
  • Lite 1.0.0 отличается высокой точностью — 98% успешных результатов. Ошибки возникают всего в 1% случаев. Вы также можете использовать его, чтобы улучшить текст, например с помощью рекомендаций Grammarly. Это идеальный вариант для учебных работ.
• Bypass Engine запускает версию 3.0.1 Turbo
  • Turbo 3.0.1 почти всегда даёт правильный результат, допускает очень мало ошибок и отличается высокой устойчивостью к попыткам обмана.
  • Если вы категорически не хотите, чтобы в вашем тексте оставались следы AI, выберите Turbo версии 3.0.1. 
  • Если вы готовы исправить несколько небольших недочётов, выбирайте Lite.
• В шести разных исследованиях новейшая версия Bypass Engine показала лучшие результаты, каждый раз точно выявляя нужный контент.
• Мы протестировали шесть инструментов, определяющих, написан ли текст AI, на новом сложном наборе тестов. Лучше всего с обнаружением контента, созданного AI, справился Bypass Engine.
• Новый простой в использовании инструмент и специальный набор данных для быстрого тестирования созданных и опубликованных детекторов

Мы надеемся, что эта публикация поможет вам лучше понять, как работают детекторы AI и насколько они точны. Мы хотим предоставить вам инструменты для самостоятельной проверки, если вам это интересно. 

Мы считаем…

1. При создании и использовании AI необходимо действовать открыто и ответственно.
2. Инструменты для обнаружения AI могут помочь уменьшить некоторые негативные последствия его влияния на общество. 
3. Информацию о точности инструментов обнаружения AI следует предоставлять ясно и ответственно — так же, как мы призываем поступать при создании и использовании AI.

Надеемся, это исследование окажется полезным. У вас есть вопросы о Bypass Engine? 

Свяжитесь с нами.

Планируете провести собственное тестирование? Расскажите нам об этом. Если вы студент, журналист или просто хотите узнать больше, мы готовы помочь. 

Узнайте, насколько точен Bypass Engine в разных исследованиях, и самостоятельно протестируйте наш детектор AI!