По мере совершенствования ИИ важно понимать, могут ли люди определить, что текст создан ИИ. Мы изучили шесть разных исследований, чтобы узнать больше.
Могут ли люди определить, что текст создан ИИ?
Одни считают, что могут, а другие доверяют таким инструментам, как Bypass Engine.
Учитывая серьёзные последствия обнаружения или необнаружения текста ИИ, важно понять, могут ли люди распознать текст, написанный ИИ. Чтобы разобраться в этом вопросе, мы изучили шесть разных исследований.
Основные моменты (краткая версия)
- Даже будучи уверенными в своих навыках, люди часто с трудом распознают текст, созданный AI.
- AI-детекторы справляются с обнаружением текста AI гораздо лучше людей.
- Неумение распознавать текст AI может привести к таким проблемам, как дезинформация, списывание в учебных заведениях и фальшивый контент в интернете.
Могут ли люди распознать текст, написанный AI? Подробный разбор 6 исследований
Хотя многие уверены в своих силах, людям обычно сложно распознать слова, написанные AI. Наш анализ распространённых терминов, связанных с ChatGPT, показал, что определить текст ChatGPT сложнее, чем ожидалось.
Чтобы разобраться в этом глубже, мы подробно рассмотрим шесть исследований других авторов о способности людей распознавать текст, написанный AI.
1. Могут ли учителя распознать AI? Исследование способности учителей выявлять тексты, написанные AI, в студенческих эссе.
Краткое содержание исследования
В этом исследовании, опубликованном на ScienceDirect, изучается, насколько хорошо учителя умеют распознавать контент, созданный AI.
По мере совершенствования AI крайне важно распознавать тексты, написанные AI, в сфере образования. Поэтому исследователи провели тесты, чтобы выяснить, могут ли учителя отличить текст, созданный AI, от текста, написанного человеком.
В исследовании участвовали две группы:
Исследование 1 (участники — будущие учителя)
«Будущие учителя правильно распознали только 45.1% текстов, написанных AI, и 53.7% текстов, написанных студентами.»
Исследование 2 (участники — опытные учителя)
«Они правильно распознали только 37.8% текстов, созданных AI, но верно определили 73.0% текстов, написанных студентами.»
Основные выводы:
- Участникам было сложно стабильно отличать контент, написанный AI, от текста, созданного человеком.
- Будущие учителя правильно распознали только 45.1% текстов AI.
- Опытные учителя правильно определили лишь 37.8% текстов AI.
- Даже когда участники были уверены в своих ответах, они часто ошибались, переоценивая свою способность распознавать AI.
Заключение:
Эти результаты показывают, что учителям сложно отличить работу, созданную AI, от текста, написанного человеком, без помощи передовых AI-детекторов.
Исследование: могут ли учителя распознать AI? Проверка способности учителей выявлять тексты, созданные AI, в студенческих эссе.
2. Не всё «человеческое» безупречно: оценка способности людей распознавать текст AI
Краткое содержание исследования
В исследовании, доступном в Корнеллском университете, учёные изучили, насколько хорошо люди могут определить, написан ли текст AI или человеком.
Они изучили рассказы, новостные статьи и рецепты.
В рамках исследования они рассмотрели 255 рассказов из социальных сетей. Из них отобрали 50 рассказов, написанных людьми. Ещё 50 рассказов они создали с помощью промптов.
Они изучили 2,111 новостных статей из 15 новостных изданий. Из них исследователи отобрали 50 статей. Затем они сгенерировали ещё 50 статей по промптам.
Они включили 50 рецептов, написанных людьми, из набора данных RecipeNLG, а также ещё 50 рецептов, созданных по промптам.
Основные результаты
Результаты показали, что людям часто сложно распознавать контент, созданный AI.
Люди правильно определяли текст в 57.9% случаев, сравнивая текст GPT2 с текстом, написанным человеком; в таблице исследования это значение было округлено до 58%.
При работе с GPT3 точность составила 49.9%, что было округлено до 50%.
Даже после небольшой подготовки перед тестом по распознаванию контента AI результаты участников лишь немного улучшились, но незначительно.
Результаты показывают, что людям сложно распознавать текст, созданный AI, даже после предварительного обучения.
Узнайте, насколько точны AI-детекторы, на основе метаанализа, проведённого независимыми исследователями, изучившими исследования точности обнаружения AI.
Исследование: не всё «человеческое» впечатляет: оценка способности людей распознавать сгенерированный текст
3. Исследование: людям сложно отличить GPT-4 от человека
Краткий обзор исследования
Это исследование, опубликованное Корнеллским университетом, показывает, насколько хорошо люди умеют распознавать тексты, созданные AI, включая тексты трёх моделей: GPT-4, GPT-3.5 и ELIZA.
Целью исследования было выяснить, могут ли люди распознавать контент, написанный AI. В нём приняли участие 500 человек, которые проверяли свои навыки в «игре», похожей на чат-приложение.
В исследовании также изучалось, менялось ли качество ответов участников в зависимости от их знаний об AI и знакомства с большими языковыми моделями (LLM).
Главные выводы
- Как и предыдущие исследования, эта работа показывает, что люди в большинстве случаев не могут отличить текст, написанный AI, от текста, написанного человеком.
- Текст, написанный человеком, правильно распознавали как человеческий в 67% случаев.
- В 54% случаев GPT-4 ошибочно принимали за человека.
- В 22% случаев текст ELIZA ошибочно принимали за написанный человеком.
- Знание о LLM немного влияло на точность ответов участников.
- Интересно, что наибольшую роль в точности распознавания играл возраст.
- Молодые участники в целом лучше распознавали модели AI, чем люди старшего возраста.
Итоги
Люди часто не могут определить, создан ли текст AI, даже если хорошо разбираются в теме.
Хотите узнать больше о распознавании текстов AI? Ознакомьтесь с обзором точности Content Detector от Bypass Engine.
Исследование: люди не могут отличить GPT-4 от человека в тесте Тьюринга.
4. Можете ли вы распознать бота? Как выявить текст AI в студенческих эссе
Краткое содержание исследования
International Journal for Educational Integrity подробно изучил способы выявления текстов AI в учебных работах. Исследователи хотели выяснить, могут ли люди отличить эссе, написанные AI, от эссе, написанных людьми.
В исследовании приняли участие 140 преподавателей и 145 студентов колледжей. Каждый участник получил одно эссе, написанное студентом, и другое, созданное AI. Им нужно было определить, какое эссе было создано AI, а какое написал студент.
Главные выводы
- Участникам было сложно отличить эссе, написанные AI.
- Преподаватели колледжей правильно определяли текст в 70% случаев при работе с ChatGPT.
- Студенты правильно определяли текст в 60% случаев при работе с ChatGPT.
Итог
И преподавателям, и студентам сложно распознавать AI в учебных работах.
Исследование: найдите бота — как распознать AI в студенческих эссе
5. Рецензентам сложно распознать аннотации, созданные ChatGPT, в области хирургии плеча и локтевого сустава
Обзор
В этом исследовании, опубликованном в журнале Arthroscopy: The Journal of Arthroscopic & Related Surgery, изучается, насколько хорошо рецензенты умеют распознавать аннотации, созданные ChatGPT.
Участникам предложили набор аннотаций: одни были созданы AI, а другие — людьми. Им нужно было определить, какие из них, по их мнению, были сгенерированы AI.
Основные результаты
Рецензенты правильно распознали контент, созданный AI, в 62% случаев. Однако в 38% случаев они ошибочно считали аннотации, написанные людьми, созданными AI. Это показывает, что полагаться только на человеческую оценку недостаточно — необходимы и другие методы обнаружения AI.
Заключение
Как и другие исследования, эта работа показывает, что людям сложно распознавать контент, созданный AI.
6. Может ли ChatGPT обойти систему? Сравнение личных заявлений, написанных AI и людьми, в заявках на ординатуру по пластической хирургии
Краткое содержание исследования
Это исследование провело Canadian Society of Plastic Surgeons. В нём рассматривается содержание заявок на медицинскую ординатуру — очень специализированная область.
В исследовании приняли участие два хирурга, недавно завершившие 20-летнюю работу с Canadian Residency Matching Service (CaRMS). Им нужно было изучить 11 заявок, написанных AI, и 11 заявок, написанных людьми. Их задачей было определить, какие заявки созданы ChatGPT-4, а какие написаны людьми.
Основные выводы
Исследование показало, что оцен evaluators could tell AI and human applications apart 65.9% of the time. The paper pointed out that having only a small number of samples was a drawback, but the evaluators’ expertise was a significant advantage.
Заключение
Результаты показывают, что людям сложно распознавать контент, созданный AI. Даже экспертам с более чем 20-летним опытом оценки заявлений на медицинскую ординатуру трудно отличить заявления, написанные человеком, от созданных AI.
Итоги
Могут ли люди распознать текст, созданный AI? Эти исследования показывают, что нет.
Иногда люди угадывают правильно, но в большинстве случаев им трудно отличить текст AI от текста, написанного человеком. Поэтому хороший детектор AI-текста очень полезен для большей ясности.
Часто задаваемые вопросы о распознавании AI
Могут ли люди распознать контент, созданный AI?
Как правило, людям сложно понять, когда контент создан AI. Исследования показывают, что способность людей распознавать такой контент сильно различается.
Насколько точны инструменты для распознавания AI?
Эффективность этих инструментов зависит от того, какой именно вы используете. AI Checker от Bypass Engine заявляет о точности свыше 99%. Кроме того, модель Turbo также обеспечивает точность более 99% при распознавании контента, созданного AI.
Чтобы сравнить популярные инструменты для работы с AI, рекомендуем ознакомиться с нашей серией обзоров детекторов AI.
Что произойдёт, если мы не сможем распознать контент, созданный AI?
Это может привести к серьёзным проблемам: распространению ложной информации, списыванию в учебных заведениях и потере доверия к тому, что мы читаем в интернете.
