AI и люди оценивают эссе по-разному. У каждого подхода есть свои преимущества и недостатки. Вот краткий обзор:
-AI работает быстро, стабильно и хорошо проверяет грамматику. Он может быстро оценить множество эссе, поддерживая единые стандарты и выявляя ошибки в грамматике и структуре.
-Люди лучше понимают контекст, тон и творческую составляющую. Они способны уловить сложные идеи, культурные отсылки и оригинальность, предоставляя персонализированную обратную связь.
-AI стоит недорого и хорошо подходит для масштабного оценивания, однако человеческая оценка может быть субъективной и зависеть от усталости или предвзятости.
-Лучший подход? Использовать оба варианта. AI берёт на себя повторяющиеся задачи, а люди предоставляют подробную и более глубокую обратную связь.
Быстрое сравнение
| Аспект | Оценка AI | Оценка человеком |
| Точность | Сильная сторона — грамматика и структура | Сильная сторона — креативность и тонкие нюансы |
| Последовательность | Более 80% внутренней согласованности | 43% внутренней согласованности |
| Скорость | Занимает несколько секунд на одно эссе | Занимает несколько часов при больших объёмах |
| Масштабируемость | Легко масштабируется | Ограничены человеческими возможностями |
| Понимание контекста | Ограниченные | Отличные |
| Стоимость | Низкие после настройки | Высокие при оценивании в больших масштабах |
AI- и человеческое оценивание лучше всего работают вместе, сочетая эффективность и глубину для повышения качества оценки эссе и обучения студентов.
Точность оценивания: AI и человеческое суждение
В оценивании AI и люди обладают своими уникальными сильными сторонами. Исследования показывают, что люди приходят к одинаковым выводам лишь в половине случаев. Точность AI зависит от типа оценивания. Давайте рассмотрим сильные стороны и ограничения обоих методов.
Возможности людей: понимание контекста и нюансов
Люди хорошо понимают глубинные аспекты студенческих работ. Они замечают сложные моменты, улавливают малейшие изменения тона и понимают культурные отсылки, которые AI может не заметить. Благодаря этому они видят творческий подход и новые идеи в работах студентов и могут оценить нестандартное мышление.
Кроме того, люди отлично воспринимают контекст, применяют свои знания и ценят последовательное развитие тем. Эти способности помогают им распознавать убедительные аргументы и уникальные, но логичные подходы. Однако человеческое оценивание сталкивается с такими проблемами, как недостаточная подготовка, усталость и предвзятость, которые иногда влияют на его надёжность.
Преимущества AI: последовательность и точность
Системы AI отлично справляются с последовательным оцениванием на основе чётких правил. Особенно хорошо они проверяют грамматику, орфографию, структуру предложений, соответствие теме и подтверждающие детали. Применяя одни и те же критерии каждый раз, AI избегает личной предвзятости, которая может влиять на оценщиков.
Метод AI, основанный на анализе данных, позволяет с высокой точностью выявлять грамматические ошибки, проблемы со структурой и ошибки форматирования — недочёты, которые могут остаться незамеченными во время длительного оценивания. AI также отличается большей последовательностью: в разных попытках уровень совпадения оценок составляет от 59% до 82%, тогда как у людей — около 43%.
Однако AI испытывает трудности с пониманием контекста, тона и нюансов в ответах студентов. Он может не заметить ошибки в организации текста или распознать уникальные, но эффективные методы.
Сравнение точности
Давайте рассмотрим, как AI- и человеческое оценивание соотносятся в разных областях:
| Аспект оценивания | Точность AI | Точность людей | Ключевые различия |
| Общее совпадение | AI совпадает с оценками людей в 40% случаев | Люди приходят к одинаковым оценкам в 50% случаев | AI часто выставляет оценки среднего диапазона (2–5 по 6-балльной шкале) |
| Грамматика и механика | Точность AI составляет 85–98% | Точность людей зависит от усталости | AI лучше справляется с исправлениями на основе правил |
| Вопросы для эссе | Точность AI составляет 80–90% | Человеческие оценки различаются из-за субъективности | Люди лучше справляются с субъективной оценкой |
| Творческое письмо | AI распознаёт его ограниченно | Люди хорошо ценят творческие работы | AI сложно распознавать оригинальность |
| Понимание контекста | AI показывает слабые результаты | Люди превосходно справляются с интерпретацией | Люди лучше понимают культурные нюансы |
Исследование ChatGPT проливает свет на особенности его оценивания. В одном исследовании оценки эссе, выставленные ChatGPT, отличались от оценок людей не более чем на один балл в 89% случаев. Однако при проверке разных типов эссе этот показатель снизился до 76%. По шкале от 1 до 6 оценки ChatGPT в среднем были на 0,9 балла ниже оценок людей. Также была выявлена возможная предвзятость: эссе студентов азиатского и тихоокеанского происхождения получали более низкие оценки по сравнению с оценками людей.
Если говорить о точности, сильные стороны ИИ и человеческой оценки проявляются в разных ситуациях. ИИ отлично справляется с объективной оценкой по чётким критериям, тогда как люди лучше проводят субъективную оценку, требующую понимания контекста и тонкого суждения.
Согласованность оценивания
Оценивать множество эссе по одним и тем же правилам непросто. Сравнение ИИ и людей показывает явные различия. Точность отражает, получает ли каждое эссе правильную оценку. Согласованность показывает, применяются ли одни и те же правила со временем и к разным работам. Давайте разберёмся, что усложняет оценивание для людей и как ИИ решает эти проблемы.
Проблемы человеческого оценивания: усталость и индивидуальные различия
Людям, проверяющим эссе, часто трудно сохранять объективность, особенно когда работ много. Усталость — одна из главных причин необъективности. Исследования показывают, что уставшие проверяющие склонны выставлять более низкие оценки. Даже опытные преподаватели могут по-разному оценить одно и то же эссе из-за различий во взглядах или скрытых предубеждений. Такие факторы, как аккуратность почерка или уровень владения английским языком, могут непреднамеренно влиять на оценки, делая их менее надёжными.
Использование рубрик помогает сделать оценивание более согласованным — примерно с 30% до 90%. Но даже с рубриками проверяющие могут уставать и принимать субъективные решения. В отличие от людей, системы ИИ не сталкиваются с такими проблемами и обеспечивают более стабильный способ оценивания.
Преимущество ИИ: стабильные стандарты каждый раз
Системы ИИ, такие как GPT-4, имеют большое преимущество в стабильности оценок. При внутренней согласованности свыше 80% GPT-4 значительно превосходит людей, у которых этот показатель составляет всего 43%. В отличие от людей, ИИ не устаёт и не теряет концентрацию, поэтому эссе, оценённое утром, получит такую же оценку, как и работа, проверенная позже. Даже GPT-3.5, который немного менее стабилен, показывает результат от 59% до 82% в зависимости от настроек.
ИИ также отлично следует рубрикам, благодаря чему оценки остаются единообразными для большого количества эссе. Это делает ИИ особенно полезным при проведении масштабных оцениваний, где согласованность имеет огромное значение.
Сравнение данных о надёжности
На графике ниже показаны различия в согласованности оценок людей и систем ИИ:
| Метод оценивания | Уровень внутренней согласованности | Коэффициент каппа |
| Люди-проверяющие | 43% точных совпадений | 0.73–0.79 |
| GPT-4 (низкая температура) | Более 80% точных совпадений | 0.84–0.88 |
| GPT-4 (высокая температура) | Более 80% точных совпадений | 0.76–0.80 |
| GPT-3.5 (низкая температура) | Около 60% точных совпадений | 0.59–0.63 |
| GPT-3.5 (высокая температура) | Около 60% точных совпадений | 0.46–0.74 |
Данные ясно показывают, что системы ИИ, такие как GPT-4, отличаются большей внутренней согласованностью, чем люди-проверяющие. Однако важно отметить, что при прямом сравнении с человеческими оценками люди обычно лучше сходятся друг с другом, чем ИИ. Это означает, что, хотя ИИ хорошо придерживается собственных стандартов, они могут не совпадать с предпочтениями людей.
Одна из главных проблем человеческого оценивания — несогласованность между разными проверяющими. Оценка студента может значительно меняться в зависимости от того, кто проверяет работу, что вызывает вопросы о справедливости при проведении важных экзаменов. В отличие от этого, системы ИИ обеспечивают более стабильный и последовательный способ оценивания, снижая такие расхождения. Тем не менее различия между стандартами ИИ и людей требуют дальнейшего изучения.
Сравнение скорости и масштабируемости
ИИ проверяет эссе за несколько секунд, тогда как людям для этого требуются долгие часы. Это меняет подход школ и экзаменационных организаций к проверке большого количества студенческих работ.
Скорость оценивания эссе
Представьте: преподавателю, который проверяет эссе шести классов по 25 учеников в каждом, может потребоваться 50 часов. ИИ, напротив, справляется всего за несколько минут. Например, современные инструменты ИИ могут выставить оценку за 2 секунды или быстрее. Такие инструменты, как EssayGrader, могут проверить эссе целого класса менее чем за 2 минуты.
Некоторые системы, например программное обеспечение AES, работают невероятно эффективно и могут оценить 16,000 эссе всего за 20 секунд. Это сокращает время проверки на 80% по сравнению с традиционными методами, основанными на работе людей. На стандартизированных экзаменах, где нужно быстро проверить множество эссе, такая скорость помогает соблюдать сроки без сбоев в процессе.
Кваме Энтони Аппиа, профессор Нью-Йоркского университета, считает, что время, сэкономленное благодаря проверке работ, можно эффективнее использовать для других задач — особенно тех, которые приносят пользу студентам. Он утверждает: «Использование ИИ так, чтобы он действительно помогал студентам, не является лицемерием».
Повышение скорости не только экономит время, но и значительно сокращает расходы, упрощая проведение масштабных оцениваний.
Анализ затрат
Ручная проверка эссе требует привлечения обученных специалистов, планирования и контроля качества, поэтому при увеличении количества работ расходы растут. ИИ-системы, напротив, после настройки сохраняют стабильную стоимость независимо от числа проверяемых эссе. Они могут обрабатывать большие объёмы работ без увеличения расходов.
Это преимущество особенно полезно при проведении крупных экзаменов, общешкольных проверок и занятий в больших университетских группах, где использование людей обходилось бы дорого. Сокращая время проверки, ИИ позволяет преподавателям сосредоточиться на действительно важном: обучении и индивидуальной помощи студентам. Это может повысить удовлетворённость преподавателей работой и уменьшить длительные часы проверки, помогая предотвращать выгорание.
Обработка больших объёмов
Помимо скорости и экономии, ИИ отлично масштабируется. Благодаря способности легко расширять объём работы он незаменим в крупных образовательных системах. Люди устают и начинают чаще ошибаться во время длительных проверок. А ИИ оценивает работы одинаково — будь то первое эссе или десяти тысячное.
IntelliMetric анализирует более 400 аспектов студенческих работ и выдаёт стабильные результаты даже при больших объёмах. Это особенно важно для экзаменационных групп, крупных школьных округов и онлайн-платформ обучения. Пётр Митрос, главный научный сотрудник edX, говорит:
«Машины не могут давать подробные отзывы. Студенты не всегда способны хорошо оценивать работы друг друга. Учителя устают и могут ошибаться, когда им приходится проверять слишком много работ».
ИИ помогает школам чаще оценивать знания студентов. Школы могут регулярно проводить письменные задания, не перегружая преподавателей, а студенты — быстрее получать обратную связь и больше практиковаться. ИИ берёт на себя проверку, позволяя преподавателям сосредоточиться на обучении и наставничестве, что делает работу эффективнее.
Для школ с большим количеством тестов в год ИИ обеспечивает необходимую скорость и надёжность, помогая поддерживать стабильные стандарты и соблюдать сроки — с одной лишь ручной проверкой это было бы крайне сложно.
Как обратная связь влияет на обучение студентов
Обратная связь определяет, как студенты совершенствуют свои письменные работы. Неважно, поступает ли она от ИИ или от человека, — она влияет на процесс обучения. ИИ быстро даёт комментарии, основанные на правилах. Люди же предлагают персонализированные рекомендации. От качества обратной связи зависит прогресс студентов: здесь важно сочетать точность с индивидуальной поддержкой. Эти различия показывают, как каждый подход помогает развивать навыки письма.
Обратная связь от преподавателя: подробно и персонализированно
Когда обратную связь дают люди, они делают это качественно. Она не только точная, но и полезная, доброжелательная. Преподаватели способны понять, что именно хотел сказать студент, даже если его текст написан не идеально. Исследования показывают, что обратная связь от людей часто эффективнее рекомендаций ИИ: она помогает студентам понять не только что нужно изменить, но и почему это важно. Особенно важно это для продвинутых студентов: комментарии преподавателя заставляют их мыслить глубже и помогают прояснить краткие или неясные идеи. Связь с преподавателями также поддерживает мотивацию студентов, особенно когда писать трудно.
Обратная связь от ИИ: быстро и полезно
Системы ИИ отлично справляются с мгновенной обратной связью, основанной на правилах. В оценках по заданным критериям ИИ обычно набирал на 0.24 балла больше, чем люди. Такие системы хорошо выявляют технические проблемы: грамматические ошибки, нарушения структуры и ошибки в цитировании. Например, Bypass Engine предлагает такие функции, как автодополнение предложений, улучшение текста и расширенная проверка на плагиат. Благодаря этому студенты могут мгновенно проверить оригинальность и оформление работы до её сдачи.
Исследование, проведённое в 2023 году Хваном и его коллегами, показало, что студенты, изучающие английский как иностранный язык (EFL), улучшили свои письменные навыки с помощью инструмента обратной связи на основе ИИ. Этот инструмент помогал им редактировать и дорабатывать тексты, предоставляя персонализированные рекомендации. Однако ИИ не идеален. Ему сложно работать с высококачественными эссе, поэтому продвинутые авторы могут не получить подробных советов. Стив Грэм, специалист по обучению письму из Университета штата Аризона, отметил неоднозначные результаты использования обратной связи от ИИ:
«Это оказалось лучше, чем я ожидал, потому что я не думал, что результат будет настолько хорошим. Не всегда всё было идеально. Но иногда рекомендации были как раз такими, какие нужны.»
Как со временем развивать навыки письма
И обратная связь от ИИ, и комментарии преподавателей помогают улучшать навыки письма при регулярной практике. Каждый подход сосредоточен на разных аспектах письменной речи, помогая студентам постепенно совершенствоваться. ИИ подстраивает рекомендации под стиль каждого человека, предлагая быстрые советы для исправлений и обучения в режиме реального времени. Поскольку он всегда доступен, студенты могут больше практиковаться, не ожидая проверки преподавателя.
В муниципальном колледже Ivy Tech технологии ИИ продемонстрировали свои возможности, выявив за две недели 16,000 студентов, которым могло быть трудно справиться с учёбой. Благодаря этой информации и своевременной помощи 98% из них получили оценку не ниже C. Однако преподаватели предупреждают об опасности чрезмерной зависимости от ИИ. Стив Грэм обеспокоен тем, что студенты могут использовать такие инструменты, как ChatGPT, не только для получения советов, но и для выполнения за них мыслительной и письменной работы:
«Больше всего я боюсь, что он станет автором. Он опасается, что студенты будут использовать ChatGPT не только для получения обратной связи, но и полагаться на него в размышлениях, анализе и написании текстов. Это плохо сказывается на обучении.»
Наилучшие результаты даёт сочетание разных видов обратной связи. Исследования показывают, что объединение комментариев ИИ с проверкой человека делает обратную связь более быстрой и персонализированной. Такой баланс помогает студентам развивать технические навыки и критическое мышление, подготавливая их к долгосрочным успехам в учёбе и жизни.
Сочетание ИИ и человеческой оценки позволяет использовать сильные стороны обоих подходов. ИИ отлично выявляет технические детали, такие как ошибки в грамматике и структуре. Люди, однако, глубже понимают темы и контекст. Вместе они создают сбалансированную систему оценки, которая одновременно эффективна и тщательна.
При совместном использовании ИИ выполняет повторяющиеся задачи, например проверяет грамматику, а преподаватели дают персонализированную обратную связь и проводят подробную оценку. Такое сочетание помогает компенсировать проблемы ИИ с творческими и смысловыми нюансами, а также случайные ошибки, вызванные усталостью или предвзятостью человека.
Когда ИИ выступает в роли первого оценщика, командная работа раскрывает свои преимущества. ИИ быстро анализирует первые черновики и выявляет технические недочёты. Это побуждает студентов дорабатывать свои тексты. Преподаватели же могут сосредоточиться на развитии таких навыков, как критическое мышление и творческий подход. Тамара Тейт из Калифорнийского университета в Ирвайне отмечает:
«Многие студенты пропускают этап редактирования. Уже добиться того, чтобы они вернулись к своей работе, — это победа.»
Такие инструменты, как Bypass Engine, показывают, насколько эффективным может быть это сотрудничество. Они предлагают такие функции, как автодополнение предложений, улучшение текста и проверка на плагиат. Эти платформы берут на себя техническую проверку, позволяя преподавателям сосредоточиться на развитии аналитического и критического мышления студентов.
Данные также подтверждают преимущества этой стратегии. Хотя системы ИИ обеспечивают стабильные результаты, люди лучше справляются с такими аспектами, как глубина анализа (4.2 из 5 у людей по сравнению с 3.1 у ИИ) и оригинальность идей (3.9 из 5 у людей по сравнению с 2.7 у ИИ).
Будущее проверки эссе — за этим сбалансированным подходом. Эффективность ИИ дополняет человеческое понимание, создавая систему, которая не только точна и последовательна, но и действительно полезна для прогресса студентов в обучении.
Часто задаваемые вопросы
Как сочетание ИИ и человеческой оценки улучшает проверку эссе?
Сочетание ИИ и человеческой оценки улучшает проверку эссе, объединяя технологии и профессиональное суждение человека. ИИ работает быстро и точно, оперативно предоставляя обратную связь по таким аспектам, как грамматика и структура. Он проверяет соответствие эссе заданным правилам без предвзятости.
Люди, с другой стороны, лучше понимают контекст. Они оценивают творческий подход, тон и сложные идеи, которые ИИ трудно анализировать. Вместе эти подходы позволяют ИИ выполнять простые и повторяющиеся задачи, а людям — сосредоточиться на более сложных аспектах. Такое сотрудничество не только повышает точность оценки, но и даёт студентам обратную связь, которая помогает улучшать письменные навыки.
Каковы основные виды предвзятости и ограничения ИИ при проверке эссе и как их устранить?
Системы ИИ, оценивающие эссе, не безупречны. У них могут быть предвзятость и ограничения, влияющие на качество оценки студенческих работ. Например, демографическая предвзятость может привести к несправедливым оценкам из-за происхождения студента, усиливая неравенство в образовании. Кроме того, таким системам часто трудно отличить хорошо написанное эссе от плохо написанного, поэтому выставленные баллы не всегда объективно отражают навыки студента.
Чтобы решить эти проблемы, можно использовать подход с участием человека. В этом случае преподаватели проверяют и корректируют оценки ИИ, следя за их справедливостью и точностью. Кроме того, регулярное обновление алгоритмов позволяет разработчикам уменьшать предвзятость и повышать качество оценки эссе.
Как оценка эссе с помощью ИИ меняет процесс обучения преподавателей и студентов?
Оценка эссе с помощью AI может изменить подход к преподаванию и обучению, упростив проверку работ и сделав обратную связь более адресной. Преподаватели экономят время на проверке, могут лучше направлять студентов и оказывать им более персональную помощь. Студенты получают обратную связь быстрее, что побуждает их чаще писать и со временем улучшать свои навыки.
Однако чрезмерная зависимость от AI может помешать преподавателям замечать индивидуальный прогресс студентов и их трудности. Чтобы найти правильный баланс, AI должен помогать преподавателям, а не заменять их. Такое сотрудничество сохраняет личный контакт и гарантирует студентам необходимую поддержку для развития.
